La reproducibilidad , estrechamente relacionada con la replicabilidad y la repetibilidad , es un principio fundamental que sustenta el método científico . Para que los hallazgos de un estudio sean reproducibles significa que los resultados obtenidos mediante un experimento o un estudio observacional o en un análisis estadístico de un conjunto de datos deben lograrse nuevamente con un alto grado de confiabilidad cuando se replica el estudio. Hay diferentes tipos de replicación [1] pero normalmente los estudios de replicación involucran a diferentes investigadores que utilizan la misma metodología. Sólo después de una o varias réplicas exitosas un resultado debería ser reconocido como conocimiento científico.
Con un alcance más limitado, la reproducibilidad se ha definido en las ciencias computacionales como la siguiente cualidad: los resultados deben documentarse haciendo que todos los datos y el código estén disponibles de tal manera que los cálculos puedan ejecutarse nuevamente con resultados idénticos.
En las últimas décadas, ha habido una creciente preocupación de que muchos resultados científicos publicados no pasen la prueba de reproducibilidad, evocando una crisis de reproducibilidad o replicación .
El primero en subrayar la importancia de la reproducibilidad en la ciencia fue el químico angloirlandés Robert Boyle , en Inglaterra en el siglo XVII. La bomba de aire de Boyle fue diseñada para generar y estudiar el vacío , lo que en ese momento era un concepto muy controvertido. De hecho, distinguidos filósofos como René Descartes y Thomas Hobbes negaron la posibilidad misma de la existencia del vacío. Los historiadores de la ciencia Steven Shapin y Simon Schaffer , en su libro de 1985 Leviathan and the Air-Pump , describen el debate entre Boyle y Hobbes, aparentemente sobre la naturaleza del vacío, como fundamentalmente una discusión sobre cómo se debe obtener conocimiento útil. Boyle, un pionero del método experimental , sostenía que los fundamentos del conocimiento deberían estar constituidos por hechos producidos experimentalmente, que puedan hacerse creíbles para una comunidad científica por su reproducibilidad. Al repetir el mismo experimento una y otra vez, argumentó Boyle, surgirá la certeza del hecho.
La bomba de aire, que en el siglo XVII era un aparato complicado y costoso de construir, también dio lugar a una de las primeras disputas documentadas sobre la reproducibilidad de un fenómeno científico concreto . En la década de 1660, el científico holandés Christiaan Huygens construyó su propia bomba de aire en Ámsterdam , la primera fuera de la dirección directa de Boyle y su entonces asistente Robert Hooke . Huygens informó de un efecto que denominó "suspensión anómala", en el que el agua parecía levitar en un frasco de vidrio dentro de su bomba de aire (de hecho suspendida sobre una burbuja de aire), pero Boyle y Hooke no pudieron replicar este fenómeno en sus propias bombas. Como describen Shapin y Schaffer, "quedó claro que a menos que el fenómeno pudiera producirse en Inglaterra con una de las dos bombas disponibles, nadie en Inglaterra aceptaría las afirmaciones que había hecho Huygens, o su competencia para hacer funcionar la bomba". Huygens fue finalmente invitado a Inglaterra en 1663 y, bajo su dirección personal, Hooke pudo replicar una suspensión anómala de agua. Después de esto, Huygens fue elegido miembro extranjero de la Royal Society . Sin embargo, Shapin y Schaffer también señalan que "el logro de la replicación dependía de actos de juicio contingentes. No se puede escribir una fórmula que diga cuándo se logró o no la replicación". [2]
El filósofo de la ciencia Karl Popper señaló brevemente en su famoso libro de 1934 La lógica del descubrimiento científico que "los sucesos únicos no reproducibles no tienen importancia para la ciencia". [3] El estadístico Ronald Fisher escribió en su libro de 1935 El diseño de experimentos , que sentó las bases para la práctica científica moderna de prueba de hipótesis y significancia estadística , que "podemos decir que un fenómeno es demostrable experimentalmente cuando sabemos cómo conducirlo". un experimento que rara vez dejará de darnos resultados estadísticamente significativos". [4] Tales afirmaciones expresan un dogma común en la ciencia moderna de que la reproducibilidad es una condición necesaria (aunque no necesariamente suficiente ) para establecer un hecho científico y, en la práctica, para establecer la autoridad científica en cualquier campo del conocimiento. Sin embargo, como señalaron anteriormente Shapin y Schaffer, este dogma no está bien formulado cuantitativamente, como por ejemplo la significancia estadística, y por lo tanto no está establecido explícitamente cuántas veces debe replicarse un hecho para que se considere reproducible.
Replicabilidad y repetibilidad son términos relacionados que, de manera amplia o vaga, son sinónimos de reproducibilidad (por ejemplo, entre el público en general), pero a menudo se diferencian de manera útil en sentidos más precisos, como se muestra a continuación.
Naturalmente, se distinguen dos pasos principales en relación con la reproducibilidad de los estudios experimentales u observacionales: cuando se obtienen nuevos datos en el intento de lograrlos, a menudo se utiliza el término replicabilidad , y el nuevo estudio es una réplica o réplica del original. Al obtener los mismos resultados al analizar nuevamente el conjunto de datos del estudio original con los mismos procedimientos, muchos autores utilizan el término reproducibilidad en un sentido técnico estricto proveniente de su uso en la investigación computacional.La repetibilidad está relacionada con la repetición del experimento dentro de un mismo estudio por parte de los mismos investigadores. La reproducibilidad en el sentido original y amplio sólo se reconoce si una replicación realizada por un equipo de investigadores independientes tiene éxito.
Los términos reproducibilidad y replicabilidad aparecen a veces incluso en la literatura científica con significado invertido, [5] [6] ya que diferentes campos de investigación establecieron sus propias definiciones para los mismos términos.
En química, los términos reproducibilidad y repetibilidad se utilizan con un significado cuantitativo específico. [7] En experimentos entre laboratorios, una concentración u otra cantidad de una sustancia química se mide repetidamente en diferentes laboratorios para evaluar la variabilidad de las mediciones. Entonces, la desviación estándar de la diferencia entre dos valores obtenidos dentro de un mismo laboratorio se llama repetibilidad. La desviación estándar de la diferencia entre dos mediciones de diferentes laboratorios se llama reproducibilidad . [8] Estas medidas están relacionadas con el concepto más general de componentes de varianza en metrología .
El término investigación reproducible se refiere a la idea de que los resultados científicos deben documentarse de tal manera que su deducción sea totalmente transparente. Esto requiere una descripción detallada de los métodos utilizados para obtener los datos [9] [10] y hacer que el conjunto de datos completo y el código para calcular los resultados sean fácilmente accesibles. [11] [12] [13] [14] [15] [16] Esta es la parte esencial de la ciencia abierta .
Para que cualquier proyecto de investigación sea computacionalmente reproducible, la práctica general implica que todos los datos y archivos estén claramente separados, etiquetados y documentados. Todas las operaciones deben estar completamente documentadas y automatizadas tanto como sea posible, evitando la intervención manual cuando sea posible. El flujo de trabajo debe diseñarse como una secuencia de pasos más pequeños que se combinan de modo que los resultados intermedios de un paso sirvan directamente como entradas para el siguiente. Se debe utilizar el control de versiones, ya que permite revisar fácilmente el historial del proyecto y permite documentar y rastrear los cambios de manera transparente.
Un flujo de trabajo básico para una investigación reproducible implica la adquisición, el procesamiento y el análisis de datos. La adquisición de datos consiste principalmente en obtener datos primarios de una fuente primaria, como encuestas, observaciones de campo, investigaciones experimentales u obtener datos de una fuente existente. El procesamiento de datos implica el procesamiento y revisión de los datos sin procesar recopilados en la primera etapa, e incluye el ingreso, manipulación y filtrado de datos, y puede realizarse mediante software. Los datos deben digitalizarse y prepararse para el análisis de datos. Los datos se pueden analizar con el uso de software para interpretar o visualizar estadísticas o datos para producir los resultados deseados de la investigación, como resultados cuantitativos que incluyen figuras y tablas. El uso de software y automatización mejora la reproducibilidad de los métodos de investigación. [17]
Existen sistemas que facilitan dicha documentación, como el lenguaje R Markdown [18] o el cuaderno Jupyter . [19] [20] [21] El Open Science Framework proporciona una plataforma y herramientas útiles para respaldar la investigación reproducible.
La psicología ha visto una renovación de las preocupaciones internas sobre los resultados irreproducibles (ver la entrada sobre crisis de replicabilidad para resultados empíricos sobre tasas de éxito de las replicaciones). Los investigadores demostraron en un estudio de 2006 que, de 141 autores de una publicación de artículos empíricos de la Asociación Estadounidense de Psicología (APA), 103 (73%) no respondieron con sus datos durante un período de seis meses. [22] En un estudio de seguimiento publicado en 2015, se encontró que 246 de 394 autores contactados de artículos en revistas APA no compartieron sus datos cuando se les solicitó (62%). [23] En un artículo de 2012, se sugirió que los investigadores deberían publicar datos junto con sus trabajos, y se publicó un conjunto de datos como demostración. [24] En 2017, un artículo publicado en Scientific Data sugirió que esto puede no ser suficiente y que se debe revelar todo el contexto del análisis. [25]
En economía, han surgido preocupaciones en relación con la credibilidad y confiabilidad de las investigaciones publicadas. En otras ciencias, la reproducibilidad se considera fundamental y, a menudo, es un requisito previo para la publicación de la investigación; sin embargo, en las ciencias económicas no se considera una prioridad de mayor importancia. La mayoría de las revistas económicas revisadas por pares no toman ninguna medida sustancial para garantizar que los resultados publicados sean reproducibles; sin embargo, las principales revistas económicas han estado adoptando archivos obligatorios de datos y códigos. [26] Hay pocos o ningún incentivo para que los investigadores compartan sus datos, y los autores tendrían que asumir los costos de compilar los datos en formularios reutilizables. La investigación económica a menudo no es reproducible, ya que solo una parte de las revistas tiene políticas de divulgación adecuadas para los conjuntos de datos y el código de los programas, e incluso si las tuvieran, los autores frecuentemente no las cumplen o el editor no las hace cumplir. Un estudio de 599 artículos publicados en 37 revistas revisadas por pares reveló que, si bien algunas revistas han logrado tasas de cumplimiento significativas, una parte significativa solo ha cumplido parcialmente o no ha cumplido en absoluto. A nivel de artículos, la tasa de cumplimiento promedio fue del 47,5%; y a nivel de revista, la tasa de cumplimiento promedio fue del 38%, oscilando entre el 13% y el 99%. [27]
Un estudio de 2018 publicado en la revista PLOS ONE encontró que el 14,4% de una muestra de investigadores de estadísticas de salud pública había compartido sus datos o código, o ambos. [28]
Durante muchos años ha habido iniciativas para mejorar la presentación de informes y, por tanto, la reproducibilidad en la literatura médica, comenzando con la iniciativa CONSORT , que ahora forma parte de una iniciativa más amplia, la Red EQUATOR . Este grupo ha centrado recientemente su atención en cómo una mejor presentación de informes podría reducir el desperdicio en la investigación, [29] especialmente en la investigación biomédica.
La investigación reproducible es clave para nuevos descubrimientos en farmacología . A un descubrimiento de Fase I le seguirán reproducciones de Fase II a medida que un fármaco se desarrolle hacia la producción comercial. En las últimas décadas el éxito de la Fase II ha caído del 28% al 18%. Un estudio de 2011 encontró que el 65% de los estudios médicos eran inconsistentes cuando se volvían a probar y solo el 6% eran completamente reproducibles. [30]
Hideyo Noguchi se hizo famoso por identificar correctamente el agente bacteriano de la sífilis , pero también afirmó que podía cultivar este agente en su laboratorio. Nadie más ha podido producir este último resultado. [31]
En marzo de 1989, los químicos Stanley Pons y Martin Fleischmann de la Universidad de Utah informaron sobre la producción de un exceso de calor que sólo podía explicarse mediante un proceso nuclear (" fusión fría "). El informe fue sorprendente dada la simplicidad del equipo: se trataba esencialmente de una celda de electrólisis que contenía agua pesada y un cátodo de paladio que absorbía rápidamente el deuterio producido durante la electrólisis. Los medios de comunicación informaron ampliamente sobre los experimentos, y fue un artículo de primera plana en muchos periódicos de todo el mundo (ver ciencia por conferencia de prensa ). Durante los meses siguientes, otros intentaron replicar el experimento, pero no tuvieron éxito. [32]
Nikola Tesla afirmó ya en 1899 haber utilizado una corriente de alta frecuencia para encender lámparas llenas de gas a más de 40 kilómetros de distancia sin utilizar cables . En 1904 construyó la Torre Wardenclyffe en Long Island para demostrar los medios para enviar y recibir energía sin cables de conexión. La instalación nunca estuvo en pleno funcionamiento y no se completó debido a problemas económicos, por lo que nunca se llevó a cabo ningún intento de reproducir su primer resultado. [33]
Otros ejemplos en los que la evidencia contraria ha refutado la afirmación original:
{{cite web}}: Mantenimiento CS1: nombres numéricos: lista de autores ( enlace )(requiere suscripción)