El jardín de caminos que se bifurcan es un problema en las pruebas de hipótesis frecuentistas a través del cual los investigadores pueden producir involuntariamente falsos positivos para una hipótesis probada, al dejarse demasiados grados de libertad. A diferencia de las expediciones de pesca como la extracción de datos , donde solo se publican los resultados esperados o aparentemente significativos, esto permite un efecto similar incluso cuando se realiza un solo experimento, a través de una serie de opciones sobre cómo implementar métodos y análisis, que a su vez están informados por los datos a medida que se observan y procesan. [1]
En algún momento, la exploración de un árbol de decisiones bifurcado mientras se analizan datos se agrupó con el problema de comparaciones múltiples como un ejemplo de método estadístico deficiente. Sin embargo, Gelman y Loken demostraron [2] que esto puede suceder implícitamente por investigadores conscientes de las mejores prácticas que solo realizan una única comparación y evalúan sus datos solo una vez.
La falacia consiste en creer que un análisis está libre de comparaciones múltiples a pesar de haber tenido suficientes grados de libertad para elegir el método, después de ver algunos o todos los datos, como para producir falsos positivos con fundamentos similares. Los grados de libertad pueden incluir la elección entre efectos principales o interacciones, métodos de exclusión de datos, si se combinan diferentes estudios y el método de análisis de datos.
Un análisis multiverso es un enfoque que reconoce la multitud de caminos analíticos disponibles al analizar datos. El concepto está inspirado en el metafórico "jardín de caminos que se bifurcan", que representa la multitud de análisis potenciales que podrían realizarse en un solo conjunto de datos. En un análisis multiverso, los investigadores varían sistemáticamente sus opciones analíticas para explorar una gama de posibles resultados a partir de los mismos datos sin procesar. [3] [4] [5] Esto implica alterar variables como los criterios de inclusión/exclusión de datos, las transformaciones de variables, el manejo de valores atípicos, los modelos estadísticos y las pruebas de hipótesis para generar un espectro de resultados que podrían haberse obtenido dadas diferentes decisiones analíticas.
Los beneficios clave de un análisis multiverso incluyen:
Este enfoque es valioso en campos donde los hallazgos de investigación son sensibles a los métodos de análisis de datos, como la psicología, [4] la neurociencia, [5] la economía y las ciencias sociales. El análisis multiverso tiene como objetivo mitigar los problemas relacionados con la reproducibilidad y replicabilidad al revelar cómo diferentes opciones analíticas pueden llevar a diferentes conclusiones a partir del mismo conjunto de datos. Por lo tanto, fomenta una comprensión más matizada del análisis de datos, promoviendo la integridad y la credibilidad en la investigación científica.
Los conceptos que están estrechamente relacionados con el análisis del multiverso son el análisis de la curva de especificación [6] y la evaluación de la vibración de los efectos. [7]