Por qué la mayoría de los resultados de las investigaciones publicadas son falsos

Ensayo de 2005 escrito por John Ioannidis

El PDF del artículo

" Por qué la mayoría de los hallazgos de investigación publicados son falsos " es un ensayo de 2005 escrito por John Ioannidis , profesor de la Facultad de Medicina de Stanford , y publicado en PLOS Medicine . ^[1] Se considera fundamental en el campo de la metaciencia .

En el artículo, Ioannidis argumentó que una gran cantidad, si no la mayoría, de los artículos de investigación médica publicados contienen resultados que no se pueden replicar . En términos simples, el ensayo afirma que los científicos utilizan pruebas de hipótesis para determinar si los descubrimientos científicos son significativos. La significación estadística se formaliza en términos de probabilidad, y su medida de valor p se informa en la literatura científica como un mecanismo de detección. Ioannidis postuló suposiciones sobre la forma en que las personas realizan e informan estas pruebas; luego construyó un modelo estadístico que indica que la mayoría de los hallazgos publicados son probablemente resultados falsos positivos .

Argumento

Supongamos que en un campo científico determinado existe una probabilidad de referencia conocida de que un resultado sea verdadero, denotada por . Cuando se lleva a cabo un estudio, la probabilidad de que se obtenga un resultado positivo es . Dados estos dos factores, queremos calcular la probabilidad condicional , que se conoce como valor predictivo positivo (VPP). El teorema de Bayes nos permite calcular el VPP como: donde es la tasa de error de tipo I (falsos positivos) y es la tasa de error de tipo II (falsos negativos); la potencia estadística es . Es habitual en la mayoría de las investigaciones científicas desear y . Si suponemos para un campo científico determinado, entonces podemos calcular el VPP para diferentes valores de y : ${\displaystyle \mathbb {P} ({\text{True}})}$ ${\displaystyle \mathbb {P} (+)}$ ${\displaystyle \mathbb {P} ({\text{True}}\mid +)}$ $${\displaystyle \mathbb {P} ({\text{True}}\mid +)={(1-\beta )\mathbb {P} ({\text{True}}) \over {(1-\beta )\mathbb {P} ({\text{True}})+\alpha \left[1-\mathbb {P} ({\text{True}})\right]}}}$$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle 1-\beta }$ ${\displaystyle \alpha =0.05}$ ${\displaystyle \beta =0.2}$ ${\displaystyle \mathbb {P} ({\text{True}})=0.1}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$

Sin embargo, la fórmula simple para el VPP derivada del teorema de Bayes no tiene en cuenta el sesgo en el diseño o la presentación de los estudios. Algunos hallazgos publicados no se habrían presentado como hallazgos de investigación si no fuera por el sesgo del investigador. Sea la probabilidad de que un análisis se haya publicado solo debido al sesgo del investigador. Entonces, el VPP se da por la expresión más general: La introducción de sesgo tenderá a reducir el VPP; en el caso extremo cuando se maximiza el sesgo de un estudio, . Incluso si un estudio cumple con los requisitos de referencia para y , y está libre de sesgo, todavía hay una probabilidad del 36% de que un artículo que informe un resultado positivo sea incorrecto; si la probabilidad base de un resultado verdadero es menor, entonces esto también reducirá el VPP. Además, hay evidencia sólida de que el poder estadístico promedio de un estudio en muchos campos científicos está muy por debajo del nivel de referencia de 0,8. ^{[2] [3] [4]} ${\displaystyle u\in [0,1]}$ $${\displaystyle \mathbb {P} ({\text{True}}|+)={\left[1-(1-u)\beta \right]\mathbb {P} ({\text{True}}) \over {\left[1-(1-u)\beta \right]\mathbb {P} ({\text{True}})+\left[(1-u)\alpha +u\right]\left[1-\mathbb {P} ({\text{True}})\right]}}}$$ ${\displaystyle \mathbb {P} ({\text{True}}|+)=\mathbb {P} ({\text{True}})}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$

Dadas las realidades del sesgo, el bajo poder estadístico y un pequeño número de hipótesis verdaderas, Ioannidis concluye que la mayoría de los estudios en una variedad de campos científicos probablemente arrojen resultados falsos.

Corolarios

Además del resultado principal, Ioannidis enumera seis corolarios de factores que pueden influir en la confiabilidad de la investigación publicada.

Es menos probable que los resultados de una investigación en un campo científico sean verdaderos,

1. Cuanto más pequeños sean los estudios realizados.
2. Cuanto menores sean los tamaños del efecto .
3. cuanto mayor sea el número y menor la selección de relaciones probadas .
4. cuanto mayor sea la flexibilidad en los diseños , definiciones, resultados y modos analíticos.
5. Cuanto mayores sean los intereses y prejuicios financieros y de otro tipo .
6. cuanto más activo sea el campo científico (con más equipos científicos involucrados).

Ioannidis contribuyó a este trabajo al contribuir a un estudio metaepidemiológico que descubrió que solo 1 de cada 20 intervenciones evaluadas en revisiones Cochrane tienen beneficios respaldados por evidencia de alta calidad. ^[5] También contribuyó a una investigación que sugiere que la calidad de esta evidencia no parece mejorar con el tiempo. ^[6]

Recepción

A pesar del escepticismo sobre las afirmaciones extremas hechas en el artículo, el argumento más amplio y las advertencias de Ioannidis han sido aceptadas por un gran número de investigadores. ^[7] El crecimiento de la metaciencia y el reconocimiento de una crisis de replicación científica han reforzado la credibilidad del artículo y han llevado a pedidos de reformas metodológicas en la investigación científica. ^{[8] [9]}

En comentarios y respuestas técnicas, los estadísticos Goodman y Greenland identificaron varias debilidades en el modelo de Ioannidis. ^{[10] [11]} El uso de un lenguaje dramático y exagerado por parte de Ioannidis al decir que "probó" que la mayoría de las afirmaciones de los hallazgos de investigación son falsas y que "la mayoría de los hallazgos de investigación son falsos para la mayoría de los diseños de investigación y para la mayoría de los campos " [cursiva agregada] fue rechazado, y sin embargo estuvieron de acuerdo con las conclusiones y recomendaciones de su artículo.

Los bioestadísticos Jager y Leek criticaron el modelo por basarse en suposiciones justificables pero arbitrarias en lugar de datos empíricos, y realizaron una investigación propia que calculó que la tasa de falsos positivos en los estudios biomédicos se estimaba en alrededor del 14%, no más del 50% como afirmaba Ioannidis. ^[12] Su artículo se publicó en una edición especial de 2014 de la revista Biostatistics junto con críticas extensas y de apoyo de otros estadísticos. Leek resumió los puntos clave de acuerdo como: cuando se habla de la tasa de falsos descubrimientos desde el punto de vista científico, uno tiene que aportar datos; hay diferentes marcos para estimar la tasa de falsos descubrimientos desde el punto de vista científico; y "es bastante improbable que la mayoría de las investigaciones publicadas sean falsas", pero eso probablemente varía según la definición de "la mayoría" y "falso" de cada uno. ^[13]

El estadístico Ulrich Schimmack reforzó la importancia de la base empírica para los modelos al señalar que la tasa de descubrimientos falsos que se informa en algunos campos científicos no es la tasa de descubrimientos real porque rara vez se informan resultados no significativos. El modelo teórico de Ioannidis no tiene en cuenta este aspecto, pero cuando se aplica un método estadístico ("curva z") para estimar el número de resultados no significativos no publicados a dos ejemplos, la tasa de falsos positivos se encuentra entre el 8% y el 17%, no más del 50%. ^[14]

Causas de la alta tasa de falsos positivos

A pesar de estas debilidades, hay un acuerdo general sobre el problema y las recomendaciones que Ioannidis analiza, aunque su tono ha sido descrito como "dramático" y "alarmantemente engañoso", lo que corre el riesgo de hacer que la gente sea innecesariamente escéptica o cínica sobre la ciencia. ^{[10] [15]}

Un impacto duradero de este trabajo ha sido la toma de conciencia de los factores subyacentes de la alta tasa de falsos positivos en la medicina clínica y la investigación biomédica, y los esfuerzos de las revistas y los científicos para mitigarlos. Ioannidis reiteró estos factores en 2016 de la siguiente manera: ^[16]

• Investigador solitario y aislado, limitado a muestras de tamaño pequeño
• No se requiere registro previo de las hipótesis a probar
• Selección posterior de hipótesis con los mejores valores P
• Solo se requiere P < .05
• Sin replicación
• No se comparten datos

Referencias

1. Ioannidis, John PA (2005). "Por qué la mayoría de los hallazgos de investigación publicados son falsos". PLOS Medicine . 2 (8): e124. doi : 10.1371/journal.pmed.0020124 . ISSN  1549-1277. PMC  1182327 . PMID  16060722.
2. Button, Katherine S.; Ioannidis, John PA; Mokrysz, Claire; Nosek, Brian A.; Flint, Jonathan; Robinson, Emma SJ; Munafò, Marcus R. (2013). "Fallo eléctrico: por qué el pequeño tamaño de la muestra socava la fiabilidad de la neurociencia". Nature Reviews Neuroscience . 14 (5): 365–376. doi : 10.1038/nrn3475 . ISSN  1471-0048. PMID  23571845.
3. Szucs, Denes; Ioannidis, John PA (2 de marzo de 2017). "Evaluación empírica de los tamaños y el poder de los efectos publicados en la literatura reciente sobre neurociencia cognitiva y psicología". PLOS Biology . 15 (3): e2000797. doi : 10.1371/journal.pbio.2000797 . ISSN  1545-7885. PMC 5333800 . PMID  28253258. 
4. Ioannidis, John PA; Stanley, TD; Doucouliagos, Hristos (2017). "El poder del sesgo en la investigación económica". The Economic Journal . 127 (605): F236–F265. doi : 10.1111/ecoj.12461 . ISSN  1468-0297. S2CID  158829482.
5. Howick, Jeremy; Koletsi, Despina; Ioannidis, John PA; Madigan, Claire; Pandis, Nikolaos; Loef, Martin; Walach, Harald; Sauer, Sebastian; Kleijnen, Jos; Seehra, Jadbinder; Johnson, Tess; Schmidt, Stefan (1 de agosto de 2022). "La mayoría de las intervenciones sanitarias probadas en revisiones Cochrane no son eficaces según evidencia de alta calidad: una revisión sistemática y un metanálisis". Revista de epidemiología clínica . 148 : 160–169. doi :10.1016/j.jclinepi.2022.04.017. PMID  35447356. S2CID  248250137 – vía www.jclinepi.com.
6. Howick, Jeremy; Koletsi, Despina; Pandis, Nikolaos; Fleming, Padhraig S.; Loef, Martin; Walach, Harald; Schmidt, Stefan; Ioannidis, John PA (1 de octubre de 2020). "La calidad de la evidencia de las intervenciones médicas no mejora ni empeora: un estudio metaepidemiológico de revisiones Cochrane". Revista de epidemiología clínica . 126 : 154–159. doi :10.1016/j.jclinepi.2020.08.005. PMID  32890636. S2CID  221512241 – vía www.jclinepi.com.
7. Belluz, Julia (16 de febrero de 2015). «John Ioannidis ha dedicado su vida a cuantificar cómo se rompe la ciencia». Vox . Consultado el 28 de marzo de 2020 .
8. "Bajo consumo de energía y la crisis de replicación: ¿Qué hemos aprendido desde 2004 (o 1984, o 1964)? « Modelado estadístico, inferencia causal y ciencias sociales". statmodeling.stat.columbia.edu . Consultado el 28 de marzo de 2020 .
9. Wasserstein, Ronald L.; Lazar, Nicole A. (2 de abril de 2016). "La declaración de la ASA sobre los valores p: contexto, proceso y propósito". The American Statistician . 70 (2): 129–133. doi : 10.1080/00031305.2016.1154108 . ISSN  0003-1305.
10. Goodman, Steven; Greenland, Sander (24 de abril de 2007). "Por qué la mayoría de los hallazgos de investigación publicados son falsos: problemas en el análisis". PLOS Medicine . 4 (4): e168. doi : 10.1371/journal.pmed.0040168 . PMC 1855693 . PMID  17456002. 
11. Goodman, Steven; Greenland, Sander. "EVALUACIÓN DE LA FALTA DE CONFIABILIDAD DE LA LITERATURA MÉDICA: UNA RESPUESTA A "POR QUÉ LA MAYORÍA DE LOS RESULTADOS DE INVESTIGACIÓN PUBLICADOS SON FALSOS"". Colección del Archivo de Investigación en Bioestadística . Documento de trabajo 135: Documentos de trabajo del Departamento de Bioestadística de la Universidad Johns Hopkins. Archivado desde el original el 2 de noviembre de 2018.{{cite web}}: CS1 maint: location (link)
12. Jager, Leah R.; Leek, Jeffrey T. (1 de enero de 2014). "Una estimación de la tasa de descubrimientos falsos según la ciencia y su aplicación a la literatura médica de primer nivel". Bioestadística . 15 (1). Oxford Academic: 1–12. doi : 10.1093/biostatistics/kxt007 . PMID  24068246. Archivado desde el original el 11 de junio de 2020.
13. Leek, Jeff. "¿Es falsa la mayor parte de la ciencia? Los titanes opinan". simplystatistics.org . Archivado desde el original el 31 de enero de 2017.
14. Schimmack, Ulrich (16 de enero de 2019). «Ioannidis (2005) se equivocó: la mayoría de los hallazgos de investigación publicados no son falsos». Índice de replicabilidad . Archivado desde el original el 19 de septiembre de 2020.
15. Ingraham, Paul (15 de septiembre de 2016). "Ioannidis: Making Science Look Bad Since 2005" (Ioannidis: haciendo que la ciencia luzca mal desde 2005). www.PainScience.com . Archivado desde el original el 21 de junio de 2020.
16. Minikel, Eric V. (17 de marzo de 2016). «John Ioannidis: El estado de la investigación sobre la investigación». www.cureffi.org . Archivado desde el original el 17 de enero de 2020.

Lectura adicional

• Carnegie Mellon University, Statistics Journal Club: Resumen y debate de: “Por qué la mayoría de los resultados de las investigaciones publicadas son falsos”
• Aplicaciones a la economía: De Long, J. Bradford; Lang, Kevin. "¿Son todas las hipótesis económicas falsas?" Journal of Political Economy. 100 (6): 1257–1272, 1992
• Aplicaciones a las ciencias sociales: Hardwicke, Tom E.; Wallach, Joshua D.; Kidwell, Mallory C.; Bendixen, Theiss; Crüwell Sophia y Ioannidis, John PA "Una evaluación empírica de las prácticas de investigación relacionadas con la transparencia y la reproducibilidad en las ciencias sociales (2014-2017)". Royal Society Open Science. 7: 190806, 2020.

Enlaces externos

• Vídeo(s) de YouTube de la Iniciativa Berkeley para la Transparencia en las Ciencias Sociales , 2016, "Por qué la mayoría de los resultados de las investigaciones publicadas son falsos" (Parte I, Parte II, Parte III)
• Vídeo de YouTube de John Ioannidis en Talks at Google , 2014 "Investigación reproducible: ¿verdadero o falso?"