En estadística , el problema de las comparaciones múltiples , la multiplicidad o las pruebas múltiples ocurre cuando uno considera un conjunto de inferencias estadísticas simultáneamente [1] o estima un subconjunto de parámetros seleccionados en función de los valores observados. [2]
Cuanto mayor sea el número de inferencias realizadas, más probable será que las inferencias sean erróneas. Se han desarrollado varias técnicas estadísticas para abordar este problema, por ejemplo, exigiendo un umbral de significancia más estricto para las comparaciones individuales, a fin de compensar el número de inferencias que se hacen. Los métodos para la tasa de error familiar dan la probabilidad de falsos positivos resultantes del problema de comparaciones múltiples.
El problema de las comparaciones múltiples recibió mayor atención en la década de 1950 con el trabajo de estadísticos como Tukey y Scheffé . Durante las décadas siguientes, se desarrollaron muchos procedimientos para abordar el problema. En 1996 tuvo lugar en Tel Aviv la primera conferencia internacional sobre procedimientos de comparación múltiple . [3] Se trata de un área de investigación activa en la que trabajan, por ejemplo, Emmanuel Candès y Vladimir Vovk.
Las comparaciones múltiples surgen cuando un análisis estadístico implica múltiples pruebas estadísticas simultáneas, cada una de las cuales tiene el potencial de producir un "descubrimiento". Un nivel de confianza establecido generalmente se aplica sólo a cada prueba considerada individualmente, pero a menudo es deseable tener un nivel de confianza para toda la familia de pruebas simultáneas. [4] No compensar las comparaciones múltiples puede tener importantes consecuencias en el mundo real, como lo ilustran los siguientes ejemplos:
En ambos ejemplos, a medida que aumenta el número de comparaciones, es más probable que los grupos comparados parezcan diferir en términos de al menos un atributo. Nuestra confianza en que un resultado se generalizará a datos independientes generalmente debería ser más débil si se observa como parte de un análisis que involucra múltiples comparaciones, en lugar de un análisis que involucra solo una comparación.
Por ejemplo, si se realiza una prueba al nivel del 5% y la hipótesis nula correspondiente es verdadera, sólo existe un riesgo del 5% de rechazar incorrectamente la hipótesis nula. Sin embargo, si se realizan 100 pruebas cada una al nivel del 5% y todas las hipótesis nulas correspondientes son verdaderas, el número esperado de rechazos incorrectos (también conocidos como falsos positivos o errores de tipo I ) es 5. Si las pruebas son estadísticamente independientes entre sí (es decir, se realizan en muestras independientes), la probabilidad de al menos un rechazo incorrecto es aproximadamente del 99,4%.
El problema de las comparaciones múltiples también se aplica a los intervalos de confianza . Un único intervalo de confianza con un nivel de probabilidad de cobertura del 95% contendrá el valor real del parámetro en el 95% de las muestras. Sin embargo, si se consideran 100 intervalos de confianza simultáneamente, cada uno con una probabilidad de cobertura del 95%, el número esperado de intervalos que no cubren es 5. Si los intervalos son estadísticamente independientes entre sí, la probabilidad de que al menos un intervalo no contenga la población El parámetro es 99,4%.
Se han desarrollado técnicas para prevenir la inflación de tasas de falsos positivos y tasas de falta de cobertura que ocurren con múltiples pruebas estadísticas.
La siguiente tabla define los posibles resultados al probar múltiples hipótesis nulas. Supongamos que tenemos un número m de hipótesis nulas, denotadas por: H 1 , H 2 , ..., H m . Utilizando una prueba estadística , rechazamos la hipótesis nula si la prueba se declara significativa. No rechazamos la hipótesis nula si la prueba no es significativa. La suma de cada tipo de resultado sobre todo H i produce las siguientes variables aleatorias:
En m pruebas de hipótesis de las cuales son hipótesis nulas verdaderas, R es una variable aleatoria observable y S , T , U y V son variables aleatorias no observables .
La corrección de pruebas múltiples se refiere a hacer que las pruebas estadísticas sean más estrictas para contrarrestar el problema de las pruebas múltiples. El ajuste más conocido es la corrección de Bonferroni , pero se han desarrollado otros métodos. Estos métodos suelen estar diseñados para controlar la tasa de error familiar o la tasa de descubrimiento falso .
Si se realizan m comparaciones independientes, la tasa de error familiar (FWER) viene dada por
Por lo tanto, a menos que las pruebas sean perfectamente dependientes (es decir, idénticas), aumenta a medida que aumenta el número de comparaciones. Si no asumimos que las comparaciones son independientes, aún podemos decir:
que se sigue de la desigualdad de Boole . Ejemplo:
Hay diferentes formas de garantizar que la tasa de error familiar sea como máximo . El método más conservador, que está libre de dependencia y supuestos distributivos, es la corrección de Bonferroni . Se puede obtener una corrección ligeramente menos conservadora resolviendo la ecuación para la tasa de error familiar de comparaciones independientes para . Esto produce lo que se conoce como corrección de Šidák . Otro procedimiento es el método Holm-Bonferroni , que uniformemente ofrece más poder que la simple corrección de Bonferroni, al probar solo el valor p más bajo ( ) contra el criterio más estricto, y los valores p más altos ( ) contra criterios progresivamente menos estrictos. [5] .
Para problemas continuos, se puede emplear la lógica bayesiana para calcular a partir de la relación de volumen anterior a posterior. En [6] se presentan generalizaciones continuas de la corrección de Bonferroni y Šidák .
Los métodos tradicionales para ajustes de comparaciones múltiples se centran en corregir números modestos de comparaciones, a menudo en un análisis de varianza . Se ha desarrollado un conjunto diferente de técnicas para "pruebas múltiples a gran escala", en las que se realizan miles o incluso más pruebas. Por ejemplo, en genómica , cuando se utilizan tecnologías como los microarrays , se pueden medir los niveles de expresión de decenas de miles de genes y los genotipos de millones de marcadores genéticos. Particularmente en el campo de los estudios de asociación genética , ha habido un serio problema con la no replicación: un resultado que fue estadísticamente significativo en un estudio pero que no pudo replicarse en un estudio de seguimiento. Esta falta de replicación puede tener muchas causas, pero se considera ampliamente que una de ellas es no tener plenamente en cuenta las consecuencias de realizar comparaciones múltiples. [7] Se ha argumentado que los avances en la medición y la tecnología de la información han hecho que sea mucho más fácil generar grandes conjuntos de datos para análisis exploratorios , lo que a menudo conduce a la prueba de un gran número de hipótesis sin ninguna base previa para esperar que muchas de las hipótesis sean ciertas. . En esta situación, se esperan tasas muy altas de falsos positivos a menos que se realicen múltiples ajustes de comparaciones.
Para problemas de prueba a gran escala donde el objetivo es proporcionar resultados definitivos, la tasa de error familiar sigue siendo el parámetro más aceptado para atribuir niveles de significancia a las pruebas estadísticas. Alternativamente, si un estudio se considera exploratorio, o si los resultados significativos pueden volver a probarse fácilmente en un estudio independiente, a menudo se prefiere el control de la tasa de descubrimiento falso (FDR) [8] [9] [10] . El FDR, definido vagamente como la proporción esperada de falsos positivos entre todas las pruebas importantes, permite a los investigadores identificar un conjunto de "candidatos positivos" que pueden evaluarse más rigurosamente en un estudio de seguimiento. [11]
La práctica de intentar muchas comparaciones no ajustadas con la esperanza de encontrar una significativa es un problema conocido, ya sea que se aplique de manera involuntaria o deliberada y que a veces se denomina "p-hacking". [12] [13]
Una pregunta básica que se enfrenta al comenzar a analizar un gran conjunto de resultados de pruebas es si existe evidencia de que alguna de las hipótesis alternativas sea cierta. Una metaprueba simple que se puede aplicar cuando se supone que las pruebas son independientes entre sí es usar la distribución de Poisson como modelo para el número de resultados significativos en un nivel dado α que se encontraría cuando se cumplen todas las hipótesis nulas. verdadero. [ cita necesaria ] Si el número observado de positivos es sustancialmente mayor de lo que debería esperarse, esto sugiere que es probable que haya algunos verdaderos positivos entre los resultados significativos.
Por ejemplo, si se realizan 1000 pruebas independientes, cada una en el nivel α = 0,05, esperamos que se produzcan 0,05 × 1000 = 50 pruebas significativas cuando todas las hipótesis nulas sean verdaderas. Con base en la distribución de Poisson con media 50, la probabilidad de observar más de 61 pruebas significativas es menor a 0.05, por lo que si se observan más de 61 resultados significativos, es muy probable que algunos de ellos correspondan a situaciones donde se cumple la hipótesis alternativa. Una desventaja de este enfoque es que exagera la evidencia de que algunas de las hipótesis alternativas son verdaderas cuando las estadísticas de prueba están correlacionadas positivamente, lo que ocurre comúnmente en la práctica. [ cita necesaria ] . Por otro lado, el enfoque sigue siendo válido incluso en presencia de correlación entre las estadísticas de la prueba, siempre que se pueda demostrar que la distribución de Poisson proporciona una buena aproximación para el número de resultados significativos. Este escenario surge, por ejemplo, cuando se extraen importantes conjuntos de elementos frecuentes de conjuntos de datos transaccionales. Además, un análisis cuidadoso en dos etapas puede limitar el FDR a un nivel preespecificado. [14]
Otro enfoque común que se puede utilizar en situaciones en las que las estadísticas de la prueba se pueden estandarizar a puntuaciones Z es hacer una gráfica de cuantiles normales de las estadísticas de la prueba. Si los cuantiles observados están notablemente más dispersos que los cuantiles normales, esto sugiere que algunos de los resultados significativos pueden ser verdaderos positivos. [ cita necesaria ]
{{cite journal}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ){{cite journal}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace )