El efecto de declive puede ocurrir cuando las afirmaciones científicas reciben un apoyo decreciente con el tiempo. El término fue descrito por primera vez por el parapsicólogo Joseph Banks Rhine en la década de 1930 para describir la desaparición de la percepción extrasensorial (ESP) de los experimentos psíquicos realizados por Rhine a lo largo del estudio o del tiempo. En su término más general, Cronbach , en su artículo de revisión de la ciencia "Más allá de las dos disciplinas de la psicología científica" se refirió al fenómeno como "decadencia de las generalizaciones". [1] El término fue utilizado una vez más en un artículo de 2010 de Jonah Lehrer publicado en The New Yorker . [2]
En su artículo, Lehrer ofrece varios ejemplos en los que supuestamente se manifiesta el efecto de disminución. En el primer ejemplo, el desarrollo de fármacos antipsicóticos de segunda generación, revela que las primeras pruebas habían demostrado una disminución drástica de los síntomas psiquiátricos de los sujetos. [2] Sin embargo, después de repetir las pruebas, este efecto disminuyó y al final no fue posible documentar que estos fármacos tuvieran un efecto mejor que los antipsicóticos de primera generación.
Un ejemplo bien conocido del efecto de declive se puede ver en los primeros experimentos realizados por el profesor Jonathan Schooler que examinaban los efectos de la verbalización en la cognición no verbal. En una serie inicial de estudios, Schooler encontró evidencia de que el ensayo verbal de caras o colores vistos previamente perjudicaba notablemente el reconocimiento posterior. [3] Este fenómeno se conoce como ensombrecimiento verbal . Aunque Schooler, así como otros investigadores, han observado repetidamente los efectos de ensombrecimiento verbal, también han demostrado ser algo difíciles de replicar. [2] [4] [5] Los efectos de ensombrecimiento verbal en una variedad de dominios inicialmente fueron fáciles de encontrar, pero luego se volvieron cada vez más difíciles de replicar, lo que indica un efecto de declive en el fenómeno. Schooler se ha convertido ahora en uno de los investigadores más destacados que examinan el efecto de declive. Ha argumentado que abordar el efecto de declive puede requerir una revisión importante del proceso científico mediante el cual los científicos registran sus protocolos antes de realizar su investigación y luego, independientemente del resultado, informan sus hallazgos en un repositorio de acceso abierto (como el "Proyecto Implícito" de Brain Nosek). [6] Schooler está trabajando actualmente con la Fundación Fetzer para organizar una importante reunión de científicos de diversas disciplinas para considerar explicaciones alternativas del efecto del declive y enfoques para abordarlo rigurosamente. [7]
En 1991, el zoólogo danés Anders Møller descubrió una conexión entre la simetría y la preferencia sexual de las aves hembras en la naturaleza. Esto despertó un gran interés en el tema y se publicaron muchas investigaciones posteriores. En los tres años siguientes al descubrimiento original, el 90% de los estudios confirmaron la hipótesis de Møller. Sin embargo, el mismo resultado se publicó en solo cuatro de los ocho artículos de investigación en 1995, y solo en un tercio en los tres años siguientes. [8]
Un estudio publicado en 2022 informó quizás uno de los ejemplos más sorprendentes del efecto de disminución en el campo de la ecología, donde los tamaños del efecto de los estudios publicados que prueban los efectos de la acidificación de los océanos en el comportamiento de los peces han disminuido en un orden de magnitud a lo largo de una década de investigación sobre este tema. [9]
El efecto declive tiene diferentes tipos, cada uno con causas diferentes.
Si la publicación inicial es un falso positivo, es decir, la hipótesis nula es verdadera, pero la publicación inicial la rechazó por error, los intentos posteriores de replicación descubrirían necesariamente que el tamaño del efecto no es significativamente diferente de cero. Este es el tipo más simple de efecto de declive. [10]
Por ejemplo, los fenómenos estadísticamente significativos en parapsicología son los falsos positivos, y lo mismo ocurre con la comunicación facilitada. Los efectos estimados de estos fenómenos se acercan a cero con más datos experimentales, lo que da lugar a un efecto de declive. [10]
Si la publicación inicial descubrió un efecto genuino, pero no identificó ciertas variables relevantes, entonces el tamaño del efecto podría ser menor. [10]
Concretamente, considere este ejemplo. El efecto depende de donde es un ruido gaussiano estándar . Supongamos que en la publicación inicial, debido a la configuración del experimento, , por lo que la publicación inicial pensó erróneamente que .
En un intento de replicación, la variable no controlada ya no se correlaciona con , sino que varía independientemente según . Ahora, la replicación descubre que donde . Por lo tanto, el coeficiente de regresión de sobre disminuyó un 50%.
Un ejemplo real es el medicamento Timolol para el tratamiento del glaucoma . Su efecto ha disminuido de manera constante. [11] Esto se explicó al observar que los primeros estudios utilizaron pacientes con glaucoma avanzado, mientras que los estudios posteriores utilizaron pacientes menos avanzados. Debido a que los pacientes menos enfermos tienen menos margen de mejora, el tamaño del efecto del Timolol disminuyó.
Una de las explicaciones de este efecto es la regresión hacia la media , también conocida como "declinación inflada". [10] Este es un fenómeno estadístico que ocurre cuando una variable es extrema en los primeros experimentos y en experimentos posteriores tiende a regresar hacia la media, aunque esto no explica por qué los resultados secuenciales declinan de manera lineal, en lugar de fluctuar alrededor de la media real como sería de esperar. [5]
Esto es particularmente probable cuando el estudio inicial se detuvo antes de tiempo, cuando "el tamaño del efecto es claramente lo suficientemente grande". Si se detiene la recopilación de datos tan pronto como el tamaño del efecto supera un umbral que es más alto que el tamaño del efecto real, entonces las réplicas posteriores necesariamente regresarán a la media. [12]
Si el tamaño del efecto real es pequeño, pero el estudio inicial tiene poca potencia (es decir, un tamaño de muestra pequeño), entonces la hipótesis nula solo se rechazará si la estimación del efecto está lejos de cero, como se ilustra en la figura. Esto significa que las réplicas posteriores, con tamaños de muestra más grandes, descubrirán estimaciones del efecto que están más cerca del efecto real, que está más cerca de cero que la estimación inicial. [10]
Otra razón puede ser el sesgo de publicación : los científicos y las revistas científicas prefieren publicar resultados positivos de experimentos y pruebas en lugar de resultados nulos, especialmente cuando se trata de ideas nuevas. [2] Como resultado, las revistas pueden negarse a publicar artículos que no demuestren que la idea funciona. Más tarde, cuando se acepta una idea, las revistas pueden negarse a publicar artículos que la respalden. [13]
En el debate que siguió al artículo original, Lehrer respondió a algunas de las preguntas afirmando que las observaciones científicas pueden estar condicionadas por las expectativas y los deseos de uno, a veces incluso de manera inconsciente, creando así un sesgo hacia el resultado deseado. [8] Esto se conoce como el efecto del experimentador. Por ejemplo, en parapsicología, el "efecto del experimentador" se utiliza para explicar cómo un experimentador que no cree en la psi no descubriría ninguna evidencia de la psi, mientras que el mismo experimento sí lo haría si lo realizara un experimentador que sí cree en la psi. [14]
Un factor importante que contribuye al efecto de disminución también puede ser el tamaño de la muestra de la investigación científica, ya que un tamaño de muestra más pequeño es muy probable que dé resultados más extremos, lo que sugiere un avance significativo, pero también una mayor probabilidad de error. Ejemplos típicos de este efecto son las encuestas de opinión, donde las que incluyen un mayor número de personas están más cerca de la realidad que las que tienen un grupo pequeño de encuestados. [15] Esta sugerencia no parece explicar la disminución observada a lo largo del tiempo independientemente del tamaño de la muestra. El investigador John Ioannidis ofrece alguna explicación. Afirma que las primeras investigaciones suelen ser pequeñas y más propensas a obtener resultados altamente positivos que apoyan la idea original, incluidos los primeros estudios confirmatorios. Más tarde, a medida que se realizan estudios más grandes, a menudo muestran una regresión a la media y una imposibilidad de repetir los primeros resultados exagerados. [16] [17] [18]
Un informe de 2012 del programa "On The Media" de la National Public Radio [19] se refirió a científicos que están explorando otra opción: que el acto de observar el universo cambia el universo, y que las mediciones repetidas podrían en realidad invalidar los resultados anteriores. En otras palabras, los fármacos antipsicóticos funcionaron originalmente, pero cuanto más medimos su eficacia, más cambiaron las leyes que los regulaban, por lo que dejaron de ser efectivos. El autor de ciencia ficción Geoff Ryman explora esta idea y sus posibles ramificaciones más a fondo en su cuento de 2012 What We Found [20] , que ganó el Premio Nebula a la Mejor Novela Corta en 2012. [21]
Otra razón para algunos efectos de disminución puede ser que ciertos investigadores tienden a publicar tamaños de efecto más grandes que otros. Por ejemplo, junto con el sesgo de publicación y los efectos del tamaño de la muestra, el efecto de disminución en los efectos de la acidificación de los océanos sobre el comportamiento de los peces [9] fue impulsado en gran medida por tamaños de efecto sobresalientes informados por dos investigadores particulares del mismo laboratorio que actualmente están siendo investigados por posible mala conducta científica y fabricación de datos . [22]
Varios comentaristas han cuestionado la opinión de Jonah Lehrer de que el efecto declive es un aspecto problemático del fenómeno, como se presenta en su artículo en The New Yorker . "El efecto declive es preocupante porque nos recuerda lo difícil que es demostrar algo. Nos gusta pretender que nuestros experimentos definen la verdad para nosotros. Pero a menudo no es así. El hecho de que una idea sea verdadera no significa que pueda demostrarse. Y el hecho de que una idea pueda demostrarse no significa que sea verdadera. Cuando se realizan los experimentos, todavía tenemos que elegir qué creer". [2]
Steven Novella también cuestiona la visión de Lehrer sobre el efecto de decadencia, argumentando que Lehrer se concentra en nuevos descubrimientos en la vanguardia de la investigación científica y aplica las conclusiones a todas las áreas de la ciencia. Novella señala que la mayoría de los ejemplos utilizados por Lehrer provienen de la medicina, la psicología y la ecología, campos científicos más influenciados por un aspecto humano complejo y que no hay mucha evidencia del efecto de decadencia en otras áreas de la ciencia, como la física. [23]
Otro científico, Paul Zachary Myers , también cuestiona la opinión de Lehrer sobre que el efecto de declive es un fenómeno sorprendente en la ciencia, afirmando que: "Esto no es sorprendente en absoluto. Es lo que esperamos, y hay muchas y muy buenas razones para el cambio". [24]
Las afirmaciones de Lehrer sobre la dificultad de probar algo y el sesgo de publicación encuentran apoyo en Jerry A. Coyne . Coyne sostiene que en los campos de la genética y la biología evolutiva, casi ninguna investigación se replica y existe una motivación premium para publicar resultados positivos de estudios de investigación. Sin embargo, también cuestiona el enfoque de Lehrer de aplicar conclusiones en todos los campos de la ciencia, afirmando que en física, química o biología molecular, los resultados previos son constantemente repetidos por otros con el fin de progresar en su propia investigación. [25]
Una preocupación que algunos [26] han expresado es que el artículo de Lehrer puede alimentar aún más el escepticismo de la gente sobre la ciencia académica. Durante mucho tiempo se creyó que el artículo de Lehrer originalmente insinuaba que la ciencia académica no es tan rígida como a la gente le gustaría creer. Es especialmente el final del artículo lo que ha molestado a muchos científicos y ha dado lugar a una amplia crítica del artículo. Lehrer termina el artículo diciendo: "El hecho de que una idea sea verdadera no significa que pueda probarse. Y el hecho de que una idea pueda probarse no significa que sea verdadera. Cuando se realizan los experimentos, todavía tenemos que elegir qué creer". Esto ha molestado a los científicos de la comunidad científica. Muchos han escrito a Lehrer y cuestionado su agenda. Algunos han caracterizado la afirmación de Lehrer como "absurda", mientras que otros afirman que Lehrer está tratando de utilizar el sesgo de publicación como excusa para no creer en nada. [26]
Como respuesta a los numerosos comentarios que recibió Lehrer al publicar el artículo, publicó un comentario en su blog, The Frontal Cortex, [8] donde negó que estuviera cuestionando implícitamente la ciencia y los métodos científicos de ninguna manera. En el mismo comentario del blog, Lehrer afirmó que no estaba cuestionando teorías científicas fundamentales como la teoría de la evolución por selección natural y el calentamiento global, al llamarlas "dos de las teorías más sólidas y ampliamente probadas de la ciencia moderna".
Una aclaración adicional fue publicada como una nota de seguimiento en The New Yorker . [8] En esta nota, titulada "Más pensamientos sobre el efecto de decadencia", Lehrer intenta principalmente responder a las críticas dando ejemplos en los que la investigación científica ha fracasado y ha tenido éxito. Como ejemplo, Lehrer utiliza el discurso de graduación de Richard Feynman en Caltech en 1974 como punto de partida. En su discurso de graduación, Feynman utilizó el experimento de la gota de aceite de Robert Millikan y Harvey Fletcher para medir la carga de un electrón para ilustrar cómo los informes selectivos pueden sesgar los resultados científicos. Por otro lado, Feynman encuentra consuelo en el hecho de que otros científicos repetirán los experimentos de otros científicos y, por lo tanto, la verdad triunfará al final.
Lehrer vuelve a utilizar la nota de seguimiento para negar que su intención original fuera apoyar a quienes niegan teorías científicas bien verificadas como la selección natural y el cambio climático. En cambio, desea que "dediquemos más tiempo a considerar el valor de los antipsicóticos de segunda generación o la veracidad del último estudio de asociación genética". En las otras partes de la nota de seguimiento, Lehrer analiza brevemente algunos de los comentarios creativos que ha recibido para reducir el sesgo de publicación. No respalda explícitamente ninguna idea específica. El artículo de seguimiento termina con Lehrer afirmando una vez más que el efecto de declive es un problema en la ciencia actual, pero que la ciencia finalmente encontrará una herramienta para abordar el problema.
