Una vez que se reconoce la posibilidad de un error de búsqueda en otro lugar en un análisis, se puede compensar mediante la aplicación cuidadosa de técnicas matemáticas estándar. [6] [7] [8]
Muchas pruebas estadísticas proporcionan un valor p , la probabilidad de que un resultado determinado pueda obtenerse por casualidad, suponiendo que la hipótesis que se busca demostrar sea, de hecho, falsa. Cuando se pregunta "¿ X afecta a Y ?", es común variar X y ver si hay una variación significativa en Y como resultado. Si este valor p es menor que un umbral de significación estadística predeterminado α , se considera que el resultado es "significativo".
Sin embargo, si se realizan múltiples pruebas ("buscar en otra parte" si la primera prueba falla), se espera que ocurra un valor p de 1/ n una vez por cada n pruebas. Por ejemplo, cuando no hay un efecto real, un evento con p < 0,05 aún ocurrirá una vez, en promedio, por cada 20 pruebas realizadas. Para compensar esto, podría dividir su umbral α por el número de pruebas n , de modo que un resultado sea significativo cuando p < α / n . O, de manera equivalente, multiplique el valor p observado por el número de pruebas (significativo cuando np < α ).
Este es un caso simplificado; el número n es en realidad el número de grados de libertad en las pruebas, o el número de pruebas efectivamente independientes. Si no son completamente independientes, el número puede ser menor que el número de pruebas.
El efecto de búsqueda en otros lugares es una causa frecuente de "inflación de la significación" cuando se subestima el número de pruebas independientes n porque las pruebas fallidas no se publican. Un artículo puede no mencionar las hipótesis alternativas consideradas, o un artículo que no produce ningún resultado puede simplemente no publicarse en absoluto, lo que lleva a que las revistas estén dominadas por valores estadísticos atípicos.
Ejemplos
En 1992, un estudio sueco intentó determinar si las líneas eléctricas causaban algún tipo de efecto perjudicial para la salud. Los investigadores encuestaron a todas las personas que vivían a menos de 300 m de líneas eléctricas de alta tensión durante un período de 25 años y buscaron aumentos estadísticamente significativos en las tasas de más de 800 enfermedades. El estudio descubrió que la incidencia de la leucemia infantil era cuatro veces mayor entre quienes vivían más cerca de las líneas eléctricas, y motivó a las autoridades suecas a que tomaran medidas. Sin embargo, el problema con la conclusión fue que no lograron compensar el efecto de buscar en otro lugar; en cualquier colección de 800 muestras aleatorias, es probable que al menos una esté al menos 3 desviaciones estándar por encima del valor esperado, solo por casualidad. Estudios posteriores no lograron demostrar ningún vínculo entre las líneas eléctricas y la leucemia infantil, ni en la causalidad ni siquiera en la correlación. [10]Secuencias de letras equidistantes "wiki" y "Pedia" encontradas en la versión King James del Génesis (10:7-14)
El fenómeno del Código Bíblico pretende encontrar agrupaciones significativas atípicas de palabras que predicen eventos futuros ocultas en el texto de la Biblia hebrea tomada como una secuencia cruda de letras sin espaciar y dispuestas en varias cuadrículas de diferentes proporciones. Sin embargo, como demostró un artículo en Skeptical Inquirer , [11] esto equivale a generar una gran cantidad de cuadrículas para examinar patrones o agrupaciones dividiendo la cadena de texto completa en anchos de entre unas pocas y cientos de miles de letras, repitiendo el ancho para las filas subsiguientes. Cada una de esas muchas cuadrículas puede luego, a su vez, buscarse más a fondo para encontrar una amplia gama de palabras de interés saltando en intervalos, hacia adelante o hacia atrás, de x letras arbitrarias en el texto (o x+1, x+2, etc.), en un producto cruzado masivo de posibilidades parametrizadas , y una palabra coincidente de interés asociada puede ser cualquier cadena cercana en un salto arbitrario de x+k o y+k letras, hacia adelante o hacia atrás, de modo que los volúmenes de permutación se vuelven enormes. Por lo tanto, dejando de lado cuestiones relacionadas como el sesgo de confirmación , incluso si no se encontraron agrupaciones de interés o importancia en la primera cuadrícula, la siguiente iteración puede probarse por computadora y así sucesivamente en masa hasta que finalmente se llegue a agrupaciones "milagrosas" o "improbables". Esto equivale en efecto a, después de repartirse una mano de póquer poco interesante , continuar haciéndolo en las grandes cantidades que sean necesarias hasta obtener una escalera de color , una escalera real o incluso muchos eventos similares en secuencia, y decir que la baraja está inspirada por permitir tal resultado. El autor de Skeptical Inquirer pudo así lograr efectos idénticos simplemente aplicando los mismos algoritmos de búsqueda tanto al texto de la Biblia King James en idioma inglés en lugar de la versión hebrea supuestamente inspirada por Dios, y luego con la misma eficacia al texto de ejemplo mundano y arbitrario de la decisión de la Corte Suprema de los Estados Unidos de 1987 Edwards v. Aguillard .
^ Lyons, L. (2008). "Cuestiones estadísticas abiertas en física de partículas". Anales de estadística aplicada . 2 (3): 887. arXiv : 0811.1663 . doi :10.1214/08-AOAS163.
^ "Sinopsis: Control del "efecto de mirar hacia otro lado"". Física . 4 . American Physical Society: s127. 2011. arXiv : 1107.3084 . doi :10.1103/PhysRevLett.107.101801.
^ Lori Ann White (12 de agosto de 2011). "Palabra de la semana: efecto Look Elsewhere" (La palabra de la semana: efecto Look Elsewhere). Laboratorio Nacional de Aceleradores de Stanford. Archivado desde el original el 19 de abril de 2012.
^ Dorigo, Tommaso (16 de octubre de 2009). «Coincidencias sobrenaturales y el efecto de mirar hacia otro lado» . Consultado el 17 de octubre de 2012 .
^ Dorigo, Tommaso (19 de agosto de 2011). "¿Deberíamos entusiasmarnos con nuestros datos? Dejemos que el efecto de mirar hacia otro lado decida". Colaboración CMS.
^ Gross, E.; Vitells, O. (2010). "Factores de prueba para el efecto de buscar en otra parte en física de alta energía". The European Physical Journal C . 70 (1–2): 525–530. arXiv : 1005.1891 . Código Bibliográfico :2010EPJC...70..525G. doi :10.1140/epjc/s10052-010-1470-8.
^ Bayer, Adrian E.; Seljak, Uroš (2020). "El efecto de mirar a otro lado desde una perspectiva bayesiana y frecuentista unificada". Revista de Cosmología y Física de Astropartículas . 2020 (10): 009. arXiv : 2007.13821 . Código Bibliográfico :2020JCAP...10..009B. doi :10.1088/1475-7516/2020/10/009.
^ Bayer, Adrian E.; Seljak, Uroš; Robnik, Jakob (2021). "Autocalibración del efecto de mirar a otro lado: evaluación rápida de la significancia estadística utilizando alturas de pico". Monthly Notices of the Royal Astronomical Society . 508 (1): 1346–1357. arXiv : 2108.06333 . Código Bibliográfico :2021MNRAS.508.1346B. doi : 10.1093/mnras/stab2331 .
^ Tom Chivers (13 de diciembre de 2011). «Un avistamiento no confirmado del elusivo bosón de Higgs». Daily Telegraph. Archivado desde el original el 17 de diciembre de 2011.
^ Palfreman, Jon (13 de junio de 1995), "Corrientes de miedo", Frontline , PBS , consultado el 1 de julio de 2012
^ Thomas, Dave (1997-11-01), "Mensajes ocultos y el código de la Biblia", Skeptical Inquirer , CSICOP , consultado el 19 de abril de 2015
Enlaces externos
Cómic de XKCD que ilustra el efecto Mirar a otro lado
