El análisis multiverso es un método científico que especifica y luego ejecuta un conjunto de modelos alternativos plausibles o pruebas estadísticas para una sola hipótesis. [1] Es un método para abordar el problema de que "el proceso científico enfrenta a los investigadores con una multiplicidad de puntos de decisión aparentemente menores, pero no triviales, cada uno de los cuales puede introducir variabilidad en los resultados de la investigación". [2] Un problema también conocido como grados de libertad del investigador [3] o como el jardín de caminos que se bifurcan . Es un método que surge en respuesta a la crisis de credibilidad y replicación que tiene lugar en la ciencia, porque puede diagnosticar la fragilidad o solidez de los hallazgos de un estudio. Los análisis multiverso se han utilizado en los campos de la psicología [4] y la neurociencia. [5] También es una forma de metaanálisis que permite a los investigadores proporcionar evidencia sobre cómo las diferentes especificaciones del modelo impactan los resultados para la misma hipótesis y, por lo tanto, puede indicar a los científicos dónde podrían necesitar mejores teorías o modelos causales .
El análisis multiverso suele producir una gran cantidad de resultados que tienden a ir en todas direcciones. Esto significa que la mayoría de los estudios no ofrecen un consenso o rechazo específico de una hipótesis. Sus mayores utilidades hasta el momento son, en cambio, proporcionar evidencia en contra de conclusiones basadas en hallazgos de estudios individuales o proporcionar evidencia sobre qué especificaciones del modelo tienen más o menos probabilidades de causar tamaños de efecto mayores o más robustos (o no).
La evidencia en contra de estudios individuales o modelos estadísticos es útil para identificar posibles resultados falsos positivos . Por ejemplo, un estudio ahora infame concluyó que los huracanes con nombre de género femenino son más mortales que los huracanes con nombre de género masculino. [6] En un estudio de seguimiento, [7] los investigadores ejecutaron miles de modelos utilizando los mismos datos de huracanes, pero haciendo varios ajustes plausibles al modelo de regresión. Al trazar una curva de densidad de todos los coeficientes de regresión, demostraron que el coeficiente del estudio original era un valor atípico extremo.
En un estudio sobre los efectos del orden de nacimiento, [8] los investigadores visualizaron un multiverso de modelos plausibles utilizando una curva de especificación que les permite inspeccionar visualmente un gráfico de todos los resultados del modelo frente a varias especificaciones del mismo. Pudieron demostrar que sus hallazgos respaldaban investigaciones previas sobre el orden de nacimiento en el intelecto, pero proporcionaban evidencia contra un efecto sobre la satisfacción con la vida y varios rasgos de personalidad.