stringtranslate.com

Reproducibilidad

La reproducibilidad , estrechamente relacionada con la replicabilidad y la repetibilidad , es un principio fundamental que sustenta el método científico . Para que los hallazgos de un estudio sean reproducibles significa que los resultados obtenidos mediante un experimento o un estudio observacional o en un análisis estadístico de un conjunto de datos deben lograrse nuevamente con un alto grado de confiabilidad cuando se replica el estudio. Existen diferentes tipos de replicación [1] pero, por lo general, los estudios de replicación involucran a diferentes investigadores que utilizan la misma metodología. Solo después de una o varias de esas replicaciones exitosas, un resultado debe reconocerse como conocimiento científico.

En un ámbito más limitado, la reproducibilidad se ha definido en las ciencias computacionales como la siguiente cualidad: los resultados deben documentarse poniendo a disposición todos los datos y códigos de tal manera que los cálculos puedan ejecutarse nuevamente con resultados idénticos.

En las últimas décadas, ha habido una creciente preocupación de que muchos resultados científicos publicados no pasan la prueba de reproducibilidad, lo que provoca una crisis de reproducibilidad o replicación .

Historia

La bomba de aire de Boyle era, en términos del siglo XVII, un aparato científico complicado y costoso, lo que dificultaba la reproducibilidad de los resultados.

El primero en destacar la importancia de la reproducibilidad en la ciencia fue el químico anglo-irlandés Robert Boyle , en Inglaterra en el siglo XVII. La bomba de aire de Boyle fue diseñada para generar y estudiar el vacío , que en ese momento era un concepto muy controvertido. De hecho, filósofos distinguidos como René Descartes y Thomas Hobbes negaron la posibilidad misma de la existencia del vacío. Los historiadores de la ciencia Steven Shapin y Simon Schaffer , en su libro de 1985 Leviathan and the Air-Pump , describen el debate entre Boyle y Hobbes, aparentemente sobre la naturaleza del vacío, como fundamentalmente un argumento sobre cómo se debe obtener conocimiento útil. Boyle, pionero del método experimental , sostuvo que los fundamentos del conocimiento deben estar constituidos por hechos producidos experimentalmente, que pueden hacerse creíbles para una comunidad científica por su reproducibilidad. Al repetir el mismo experimento una y otra vez, argumentó Boyle, surgirá la certeza del hecho.

La bomba de aire, que en el siglo XVII era un aparato complicado y costoso de construir, también dio lugar a una de las primeras disputas documentadas sobre la reproducibilidad de un fenómeno científico particular . En la década de 1660, el científico holandés Christiaan Huygens construyó su propia bomba de aire en Ámsterdam , la primera fuera de la gestión directa de Boyle y su asistente en ese momento , Robert Hooke . Huygens informó de un efecto que denominó "suspensión anómala", en el que el agua parecía levitar en un frasco de vidrio dentro de su bomba de aire (de hecho, suspendida sobre una burbuja de aire), pero Boyle y Hooke no pudieron replicar este fenómeno en sus propias bombas. Como describen Shapin y Schaffer, "quedó claro que a menos que el fenómeno pudiera producirse en Inglaterra con una de las dos bombas disponibles, nadie en Inglaterra aceptaría las afirmaciones que Huygens había hecho, ni su competencia en el funcionamiento de la bomba". Huygens fue finalmente invitado a Inglaterra en 1663, y bajo su guía personal Hooke pudo reproducir la suspensión anómala del agua. Después de esto, Huygens fue elegido miembro extranjero de la Royal Society . Sin embargo, Shapin y Schaffer también señalan que "la realización de la replicación dependía de actos contingentes de juicio. No se puede escribir una fórmula que diga cuándo se logró o no la replicación". [2]

El filósofo de la ciencia Karl Popper señaló brevemente en su famoso libro de 1934 La lógica del descubrimiento científico que "los sucesos únicos no reproducibles no tienen importancia para la ciencia". [3] El estadístico Ronald Fisher escribió en su libro de 1935 El diseño de experimentos , que sentó las bases para la práctica científica moderna de prueba de hipótesis y significación estadística , que "podemos decir que un fenómeno es demostrable experimentalmente cuando sabemos cómo llevar a cabo un experimento que rara vez fallará en darnos resultados estadísticamente significativos". [4] Tales afirmaciones expresan un dogma común en la ciencia moderna de que la reproducibilidad es una condición necesaria (aunque no necesariamente suficiente ) para establecer un hecho científico, y en la práctica para establecer la autoridad científica en cualquier campo del conocimiento. Sin embargo, como señalaron anteriormente Shapin y Schaffer, este dogma no está bien formulado cuantitativamente, como la significación estadística, por ejemplo, y por lo tanto no se establece explícitamente cuántas veces debe replicarse un hecho para considerarse reproducible.

Terminología

Replicabilidad y repetibilidad son términos relacionados que en sentido amplio o vaga son sinónimos de reproducibilidad (por ejemplo, entre el público en general), pero a menudo es útil diferenciarlos en sentidos más precisos, como sigue.

En relación con la reproducibilidad de los estudios experimentales u observacionales se distinguen naturalmente dos pasos principales: cuando se obtienen nuevos datos en el intento de lograrlo, a menudo se utiliza el término replicabilidad , y el nuevo estudio es una réplica o réplica del original. Para obtener los mismos resultados al analizar nuevamente el conjunto de datos del estudio original con los mismos procedimientos, muchos autores utilizan el término reproducibilidad en un sentido estricto y técnico que proviene de su uso en la investigación computacional. La repetibilidad está relacionada con la repetición del experimento dentro del mismo estudio por los mismos investigadores. La reproducibilidad en el sentido original y amplio solo se reconoce si una réplica realizada por un equipo de investigadores independientes tiene éxito.

Los términos reproducibilidad y replicabilidad a veces aparecen incluso en la literatura científica con significado invertido, [5] [6] ya que diferentes campos de investigación han establecido sus propias definiciones para los mismos términos.

Medidas de reproducibilidad y repetibilidad

En química, los términos reproducibilidad y repetibilidad se utilizan con un significado cuantitativo específico. [7] En experimentos entre laboratorios, una concentración u otra cantidad de una sustancia química se mide repetidamente en diferentes laboratorios para evaluar la variabilidad de las mediciones. Entonces, la desviación estándar de la diferencia entre dos valores obtenidos dentro del mismo laboratorio se llama repetibilidad. La desviación estándar para la diferencia entre dos mediciones de diferentes laboratorios se llama reproducibilidad . [8] Estas medidas están relacionadas con el concepto más general de componentes de varianza en metrología .

Investigación reproducible

Método de investigación reproducible

El término investigación reproducible se refiere a la idea de que los resultados científicos deben documentarse de tal manera que su deducción sea completamente transparente. Esto requiere una descripción detallada de los métodos utilizados para obtener los datos [9] [10] y hacer que el conjunto completo de datos y el código para calcular los resultados sean fácilmente accesibles. [11] [12] [13] [14] [15] [16] Esta es la parte esencial de la ciencia abierta .

Para que cualquier proyecto de investigación sea reproducible computacionalmente, la práctica general implica que todos los datos y archivos estén claramente separados, etiquetados y documentados. Todas las operaciones deben estar completamente documentadas y automatizadas tanto como sea posible, evitando la intervención manual cuando sea posible. El flujo de trabajo debe diseñarse como una secuencia de pasos más pequeños que se combinan de modo que los resultados intermedios de un paso se utilicen directamente como insumos para el siguiente paso. Se debe utilizar el control de versiones, ya que permite revisar fácilmente el historial del proyecto y documentar y rastrear los cambios de manera transparente.

Un flujo de trabajo básico para una investigación reproducible implica la adquisición, el procesamiento y el análisis de datos. La adquisición de datos consiste principalmente en obtener datos primarios de una fuente primaria, como encuestas, observaciones de campo, investigación experimental u obtener datos de una fuente existente. El procesamiento de datos implica el procesamiento y la revisión de los datos brutos recopilados en la primera etapa, e incluye la entrada, la manipulación y el filtrado de datos, y puede realizarse mediante software. Los datos deben digitalizarse y prepararse para el análisis de datos. Los datos pueden analizarse mediante el uso de software para interpretar o visualizar estadísticas o datos para producir los resultados deseados de la investigación, como resultados cuantitativos, incluidas figuras y tablas. El uso de software y automatización mejora la reproducibilidad de los métodos de investigación. [17]

Existen sistemas que facilitan dicha documentación, como el lenguaje R Markdown [18] o el cuaderno Jupyter . [19] [20] [21] El Open Science Framework proporciona una plataforma y herramientas útiles para apoyar la investigación reproducible.

Investigación reproducible en la práctica

La psicología ha visto un resurgimiento de las preocupaciones internas sobre los resultados irreproducibles (véase la entrada sobre la crisis de replicabilidad para los resultados empíricos sobre las tasas de éxito de las réplicas). Los investigadores mostraron en un estudio de 2006 que, de 141 autores de una publicación de artículos empíricos de la Asociación Estadounidense de Psicología (APA), 103 (73%) no respondieron con sus datos durante un período de seis meses. [22] En un estudio de seguimiento publicado en 2015, se encontró que 246 de los 394 autores contactados de artículos en revistas de la APA no compartieron sus datos cuando se les solicitó (62%). [23] En un artículo de 2012, se sugirió que los investigadores deberían publicar datos junto con sus trabajos, y se publicó un conjunto de datos junto a ellos como demostración. [24] En 2017, un artículo publicado en Scientific Data sugirió que esto podría no ser suficiente y que se debería revelar todo el contexto del análisis. [25]

En economía, se han planteado preocupaciones en relación con la credibilidad y fiabilidad de las investigaciones publicadas. En otras ciencias, la reproducibilidad se considera fundamental y a menudo es un requisito previo para la publicación de una investigación, sin embargo, en las ciencias económicas no se considera una prioridad de la mayor importancia. La mayoría de las revistas económicas revisadas por pares no toman ninguna medida sustancial para garantizar que los resultados publicados sean reproducibles, sin embargo, las principales revistas de economía han estado adoptando la adopción de archivos obligatorios de datos y códigos. [26] Los incentivos para que los investigadores compartan sus datos son bajos o nulos, y los autores tendrían que asumir los costos de compilar los datos en formatos reutilizables. La investigación económica a menudo no es reproducible, ya que solo una parte de las revistas tienen políticas de divulgación adecuadas para los conjuntos de datos y el código del programa, e incluso si las tienen, los autores con frecuencia no las cumplen o el editor no las hace cumplir. Un estudio de 599 artículos publicados en 37 revistas revisadas por pares reveló que, si bien algunas revistas han logrado tasas de cumplimiento significativas, una parte significativa solo las ha cumplido parcialmente o no las ha cumplido en absoluto. A nivel de artículo, la tasa de cumplimiento promedio fue del 47,5%; y a nivel de revista, la tasa de cumplimiento promedio fue del 38%, con un rango entre el 13% y el 99%. [27]

Un estudio de 2018 publicado en la revista PLOS ONE descubrió que el 14,4% de una muestra de investigadores de estadísticas de salud pública había compartido sus datos o códigos o ambos. [28]

Durante muchos años se han llevado a cabo iniciativas para mejorar la presentación de informes y, por lo tanto, la reproducibilidad de la literatura médica, comenzando por la iniciativa CONSORT , que ahora forma parte de una iniciativa más amplia, la Red EQUATOR . Este grupo ha centrado recientemente su atención en cómo una mejor presentación de informes podría reducir el desperdicio en la investigación, [29] especialmente en la investigación biomédica.

La investigación reproducible es clave para los nuevos descubrimientos en farmacología . A un descubrimiento de Fase I le seguirán reproducciones de Fase II a medida que un fármaco se desarrolla hacia la producción comercial. En las últimas décadas, el éxito de la Fase II ha caído del 28% al 18%. Un estudio de 2011 descubrió que el 65% de los estudios médicos eran inconsistentes cuando se volvían a probar, y solo el 6% eran completamente reproducibles. [30]

Resultados irreproducibles dignos de mención

Hideyo Noguchi se hizo famoso por identificar correctamente el agente bacteriano de la sífilis , pero también afirmó que podía cultivar este agente en su laboratorio. Nadie más ha sido capaz de producir este último resultado. [31]

En marzo de 1989, los químicos Stanley Pons y Martin Fleischmann, de la Universidad de Utah, informaron sobre la producción de un exceso de calor que sólo podía explicarse mediante un proceso nuclear (" fusión fría "). El informe fue asombroso dada la simplicidad del equipo: se trataba esencialmente de una celda de electrólisis que contenía agua pesada y un cátodo de paladio que absorbía rápidamente el deuterio producido durante la electrólisis. Los medios de comunicación informaron ampliamente sobre los experimentos y fue un artículo de portada en muchos periódicos de todo el mundo (véase ciencia por conferencia de prensa ). Durante los meses siguientes, otros intentaron replicar el experimento, pero no tuvieron éxito. [32]

Nikola Tesla afirmó ya en 1899 haber utilizado una corriente de alta frecuencia para encender lámparas de gas a más de 40 kilómetros de distancia sin utilizar cables . En 1904 construyó la Torre Wardenclyffe en Long Island para demostrar los medios para enviar y recibir energía sin conectar cables. La instalación nunca estuvo completamente operativa y no se completó debido a problemas económicos, por lo que nunca se llevó a cabo ningún intento de reproducir su primer resultado. [33]

Otros ejemplos cuya evidencia contraria ha refutado la afirmación original:

Véase también

Referencias

  1. ^ Tsang, Eric WK; Kwan, Kai-man (1999). "Replicación y desarrollo de teoría en la ciencia organizacional: una perspectiva realista crítica". Academy of Management Review . 24 (4): 759–780. doi :10.5465/amr.1999.2553252. ISSN  0363-7425.
  2. ^ Steven Shapin y Simon Schaffer , Leviatán y la bomba de aire , Princeton University Press, Princeton, Nueva Jersey (1985).
  3. ^ Esta cita es de la traducción al inglés de 1959, Karl Popper , The Logic of Scientific Discovery , Routledge, Londres, 1992, pág. 66.
  4. ^ Ronald Fisher , El diseño de experimentos , (1971) [1935](9.ª ed.), Macmillan, pág. 14.
  5. ^ Barba, Lorena A. (2018). "Terminologías para la investigación reproducible". arXiv : 1802.03311 [cs.DL].
  6. ^ Liberman, Mark. "Replicabilidad versus reproducibilidad, ¿o es al revés?" . Consultado el 15 de octubre de 2020 .
  7. ^ "IUPAC - reproducibilidad (R05305)". Unión Internacional de Química Pura y Aplicada . doi : 10.1351/goldbook.R05305 . Consultado el 4 de marzo de 2022 .
  8. ^ Subcomité E11.20 sobre evaluación de métodos de prueba y control de calidad (2014). "Práctica estándar para el uso de los términos precisión y sesgo en los métodos de prueba ASTM". ASTM International. ASTM E177.{{cite web}}: CS1 maint: nombres numéricos: lista de autores ( enlace )(se requiere suscripción)
  9. ^ King, Gary (1995). "Replicación, replicación". PS: Ciencia política y política . 28 (3): 444–452. doi :10.2307/420301. ISSN  1049-0965. JSTOR  420301. S2CID  250480339.
  10. ^ Kühne, Martin; Liehr, Andreas W. (2009). "Mejora de la gestión tradicional de la información en las ciencias naturales". Data Science Journal . 8 (1): 18–27. doi : 10.2481/dsj.8.18 .
  11. ^ Fomel, Sergey; Claerbout, Jon (2009). "Introducción de los editores invitados: investigación reproducible". Computing in Science and Engineering . 11 (1): 5–7. Bibcode :2009CSE....11a...5F. doi :10.1109/MCSE.2009.14.
  12. ^ Buckheit, Jonathan B.; Donoho, David L. (mayo de 1995). WaveLab and Reproducible Research (PDF) (Informe). California, Estados Unidos: Stanford University , Departamento de Estadística. Informe técnico n.º 474. Archivado (PDF) desde el original el 9 de enero de 2015. Consultado el 5 de enero de 2015 .
  13. ^ "Mesa redonda de la Facultad de Derecho de Yale sobre intercambio de datos y núcleos: "Investigación reproducible"". Computación en Ciencia e Ingeniería . 12 (5): 8–12. 2010. doi :10.1109/MCSE.2010.113.
  14. ^ Marwick, Ben (2016). "Reproducibilidad computacional en la investigación arqueológica: principios básicos y un estudio de caso de su implementación". Revista de métodos y teoría arqueológica . 24 (2): 424–450. doi :10.1007/s10816-015-9272-9. S2CID  43958561.
  15. ^ Goodman, Steven N.; Fanelli, Daniele; Ioannidis, John PA (1 de junio de 2016). "¿Qué significa reproducibilidad de la investigación?". Science Translational Medicine . 8 (341): 341ps12. doi : 10.1126/scitranslmed.aaf5027 . PMID  27252173.
  16. ^ Harris JK; Johnson KJ; Combs TB; Carothers BJ; Luke DA; Wang X (2019). "Tres cambios que los científicos de salud pública pueden hacer para ayudar a construir una cultura de investigación reproducible". Public Health Rep. Public Health Reports . 134 (2): 109–111. doi :10.1177/0033354918821076. ISSN  0033-3549. OCLC  7991854250. PMC 6410469 . PMID  30657732. 
  17. ^ Kitzes, Justin; Turek, Daniel; Deniz, Fatma (2018). La práctica de estudios de casos de investigación reproducibles y lecciones de las ciencias intensivas en datos. Oakland, California: University of California Press. pp. 19–30. ISBN 9780520294745.JSTOR  10.1525/j.ctv1wxsc7 .
  18. ^ Marwick, Ben; Boettiger, Carl; Mullen, Lincoln (29 de septiembre de 2017). "Empaquetado de trabajo analítico de datos de forma reproducible utilizando R (y amigos)". The American Statistician . 72 : 80–88. doi :10.1080/00031305.2017.1375986. S2CID  125412832.
  19. ^ Kluyver, Thomas; Ragan-Kelley, Benjamin; Perez, Fernando; Granger, Brian; Bussonnier, Matthias; Frederic, Jonathan; Kelley, Kyle; Hamrick, Jessica; Grout, Jason; Corlay, Sylvain (2016). "Jupyter Notebooks: un formato de publicación para flujos de trabajo computacionales reproducibles" (PDF) . En Loizides, F; Schmidt, B (eds.). Posicionamiento y poder en la publicación académica: jugadores, agentes y agendas . 20.ª Conferencia Internacional sobre Publicación Electrónica. IOS Press. págs. 87–90. doi :10.3233/978-1-61499-649-1-87. Archivado (PDF) desde el original el 10 de enero de 2018.
  20. ^ Beg, Marijan; Taka, Juliette; Kluyver, Thomas; Konovalov, Alexander; Ragan-Kelley, Min; Thiery, Nicolas M.; Fangohr, Hans (1 de marzo de 2021). "Uso de Jupyter para flujos de trabajo científicos reproducibles". Computing in Science & Engineering . 23 (2): 36–46. arXiv : 2102.09562 . Código Bibliográfico :2021CSE....23b..36B. doi :10.1109/MCSE.2021.3052101. S2CID  231979203.
  21. ^ Granger, Brian E.; Perez, Fernando (1 de marzo de 2021). "Jupyter: Pensar y contar historias con código y datos". Computing in Science & Engineering . 23 (2): 7–14. Bibcode :2021CSE....23b...7G. doi : 10.1109/MCSE.2021.3059263 . S2CID  232413965.
  22. ^ Wicherts, JM; Borsboom, D.; Kats, J.; Molenaar, D. (2006). "La escasa disponibilidad de datos de investigación psicológica para el reanálisis". American Psychologist . 61 (7): 726–728. doi :10.1037/0003-066X.61.7.726. PMID  17032082.
  23. ^ Vanpaemel, W.; Vermorgen, M.; Deriemaecker, L.; Storms, G. (2015). "¿Estamos desperdiciando una buena crisis? La disponibilidad de datos de investigación psicológica después de la tormenta". Collabra . 1 (1): 1–5. doi : 10.1525/collabra.13 .
  24. ^ Wicherts, JM; Bakker, M. (2012). "¡Publica (tus datos) o deja que los datos perezcan! ¿Por qué no publicas tus datos también?". Intelligence . 40 (2): 73–76. doi :10.1016/j.intell.2012.01.004.
  25. ^ Pasquier, Thomas; Lau, Mateo K.; Trisovic, Ana; Boose, Emery R.; Modisto, Ben; Crosas, Mercè; Ellison, Aaron M.; Gibson, Valeria; Jones, Chris R.; Seltzer, Margo (5 de septiembre de 2017). "Si estos datos pudieran hablar". Datos científicos . 4 (1): 170114. Código bibliográfico : 2017NatSD...470114P. doi :10.1038/sdata.2017.114. PMC 5584398 . PMID  28872630. 
  26. ^ McCullough, Bruce (marzo de 2009). "Revistas económicas de acceso abierto y el mercado de la investigación económica reproducible". Análisis económico y política . 39 (1): 117–126. doi :10.1016/S0313-5926(09)50047-1.
  27. ^ Vlaeminck, Sven; Podkrajac, Felix (10 de diciembre de 2017). "Revistas en ciencias económicas: ¿un reconocimiento de la investigación reproducible?". IASSIST Quarterly . 41 (1–4): 16. doi :10.29173/iq6. hdl : 11108/359 . S2CID  96499437.
  28. ^ Harris, Jenine K.; Johnson, Kimberly J.; Carothers, Bobbi J.; Combs, Todd B.; Luke, Douglas A.; Wang, Xiaoyan (2018). "Uso de prácticas de investigación reproducibles en salud pública: una encuesta a analistas de salud pública". PLOS ONE . ​​13 (9): e0202447. Bibcode :2018PLoSO..1302447H. doi : 10.1371/journal.pone.0202447 . ISSN  1932-6203. OCLC  7891624396. PMC 6135378 . PMID  30208041. 
  29. ^ "Residuos de investigación/Conferencia EQUATOR | Residuos de investigación". researchwaste.net . Archivado desde el original el 29 de octubre de 2016.
  30. ^ Prinz, F.; Schlange, T.; Asadullah, K. (2011). "Lo crea o no: ¿cuánto podemos confiar en los datos publicados sobre posibles dianas farmacológicas?". Nature Reviews Drug Discovery . 10 (9): 712. doi : 10.1038/nrd3439-c1 . PMID  21892149.
  31. ^ Tan, SY; Furubayashi, J (2014). "Hideyo Noguchi (1876-1928): bacteriólogo distinguido". Revista Médica de Singapur . 55 (10): 550–551. doi :10.11622/smedj.2014140. ISSN  0037-5675. PMC 4293967 . PMID  25631898. 
  32. ^ Browne, Malcolm (3 de mayo de 1989). "Los físicos desacreditan la afirmación de que existe un nuevo tipo de fusión". New York Times . Consultado el 3 de febrero de 2017 .
  33. ^ Cheney, Margaret (1999), Tesla, maestro del rayo , Nueva York: Barnes & Noble Books, ISBN 0-7607-1005-8 , pp. 107.; "Incapaz de superar sus cargas financieras, se vio obligado a cerrar el laboratorio en 1905". 
  34. ^ Dominus, Susan (18 de octubre de 2017). "Cuando la revolución llegó para Amy Cuddy". New York Times Magazine .

Lectura adicional

Enlaces externos