Prueba de permutación

Prueba de hipótesis estadística exacta

Una prueba de permutación (también llamada prueba de realeatorización o prueba de barajado) es una prueba de hipótesis estadística exacta que hace uso de la prueba por contradicción . Una prueba de permutación involucra dos o más muestras. La hipótesis nula es que todas las muestras provienen de la misma distribución . Bajo la hipótesis nula , la distribución del estadístico de prueba se obtiene calculando todos los valores posibles del estadístico de prueba bajo posibles reordenamientos de los datos observados. Las pruebas de permutación son, por lo tanto, una forma de remuestreo . ${\displaystyle H_{0}:F=G}$

Las pruebas de permutación pueden entenderse como pruebas de datos sustitutos donde los datos sustitutos bajo la hipótesis nula se obtienen a través de permutaciones de los datos originales. ^[1]

En otras palabras, el método por el cual se asignan los tratamientos a los sujetos en un diseño experimental se refleja en el análisis de ese diseño. Si las etiquetas son intercambiables bajo la hipótesis nula, entonces las pruebas resultantes arrojan niveles de significación exactos; véase también intercambiabilidad . Los intervalos de confianza pueden derivarse de las pruebas. La teoría ha evolucionado a partir de los trabajos de Ronald Fisher y EJG Pitman en la década de 1930.

Las pruebas de permutación no deben confundirse con las pruebas aleatorias . ^[2]

Método

Animación de una prueba de permutación que se calcula en conjuntos de 4 y 5 valores aleatorios. Los 4 valores en rojo se extraen de una distribución y los 5 valores en azul de otra; nos gustaría probar si los valores medios de las dos distribuciones son diferentes. La hipótesis es que la media de la primera distribución es mayor que la media de la segunda; la hipótesis nula es que ambos grupos de muestras se extraen de la misma distribución. Hay 126 formas distintas de colocar 4 valores en un grupo y 5 en otro (9-elige-4 o 9-elige-5). De estas, una es según el etiquetado original y las otras 125 son "permutaciones" que generan el histograma de diferencias de medias que se muestra. El valor p de la hipótesis se estima como la proporción de permutaciones que dan una diferencia tan grande o mayor que la diferencia de medias de las muestras originales. En este ejemplo, la hipótesis nula no se puede rechazar en el nivel p = 5% . ${\displaystyle {\hat {\mu }}_{1}-{\hat {\mu }}_{2}}$

Para ilustrar la idea básica de una prueba de permutación, supongamos que recopilamos variables aleatorias y para cada individuo de dos grupos y cuyas medias muestrales son y , y que queremos saber si y provienen de la misma distribución. Sea y el tamaño de la muestra recopilada de cada grupo. La prueba de permutación está diseñada para determinar si la diferencia observada entre las medias muestrales es lo suficientemente grande como para rechazar, en algún nivel de significancia, la hipótesis nula H de que los datos extraídos de son de la misma distribución que los datos extraídos de . ${\displaystyle X_{A}}$ ${\displaystyle X_{B}}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle {\bar {x}}_{A}}$ ${\displaystyle {\bar {x}}_{B}}$ ${\displaystyle X_{A}}$ ${\displaystyle X_{B}}$ ${\displaystyle n_{A}}$ ${\displaystyle n_{B}}$ ${\displaystyle _{0}}$ ${\displaystyle A}$ ${\displaystyle B}$

La prueba se desarrolla de la siguiente manera. En primer lugar, se calcula la diferencia de medias entre las dos muestras: este es el valor observado del estadístico de prueba, . ${\displaystyle T_{\text{obs}}}$

A continuación, se agrupan las observaciones de los grupos y y se calcula y registra la diferencia en las medias de la muestra para cada forma posible de dividir los valores agrupados en dos grupos de tamaño y (es decir, para cada permutación de las etiquetas de grupo A y B). El conjunto de estas diferencias calculadas es la distribución exacta de las posibles diferencias (para esta muestra) bajo la hipótesis nula de que las etiquetas de grupo son intercambiables (es decir, se asignan aleatoriamente). ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle n_{A}}$ ${\displaystyle n_{B}}$

El valor p unilateral de la prueba se calcula como la proporción de permutaciones muestreadas donde la diferencia de medias fue mayor que . El valor p bilateral de la prueba se calcula como la proporción de permutaciones muestreadas donde la diferencia absoluta fue mayor que . Muchas implementaciones de pruebas de permutación requieren que los datos observados se cuenten como una de las permutaciones para que el valor p de la permutación nunca sea cero. ^[3] ${\displaystyle T_{\text{obs}}}$ ${\displaystyle |T_{\text{obs}}|}$

Alternativamente, si el único propósito de la prueba es rechazar o no la hipótesis nula, se podrían ordenar las diferencias registradas y luego observar si está contenida dentro del % medio de ellas, para algún nivel de significancia . Si no lo está, rechazamos la hipótesis de curvas de probabilidad idénticas en el nivel de significancia. ${\displaystyle T_{\text{obs}}}$ ${\displaystyle (1-\alpha )\times 100}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha \times 100\%}$

Para muestras pareadas se debe aplicar la prueba de permutación pareada.

Relación con las pruebas paramétricas

Las pruebas de permutación son un subconjunto de las estadísticas no paramétricas . Suponiendo que nuestros datos experimentales provienen de datos medidos de dos grupos de tratamiento, el método simplemente genera la distribución de las diferencias de medias bajo el supuesto de que los dos grupos no son distintos en términos de la variable medida. A partir de esto, uno luego usa la estadística observada ( arriba) para ver en qué medida esta estadística es especial, es decir, la probabilidad de observar la magnitud de dicho valor (o mayor) si las etiquetas de tratamiento simplemente se hubieran aleatorizado después del tratamiento. ${\displaystyle T_{\text{obs}}}$

A diferencia de las pruebas de permutación, las distribuciones subyacentes a muchas pruebas estadísticas "clásicas" populares , como la prueba t , la prueba F , la prueba z y la prueba χ 2 , se obtienen a partir de distribuciones de probabilidad teóricas . La prueba exacta de Fisher es un ejemplo de una prueba paramétrica comúnmente utilizada para evaluar la asociación entre dos variables dicotómicas. Cuando los tamaños de muestra son muy grandes, la prueba de chi-cuadrado de Pearson dará resultados precisos. Para muestras pequeñas, no se puede asumir que la distribución de referencia de chi-cuadrado brinde una descripción correcta de la distribución de probabilidad de la estadística de prueba y, en esta situación, el uso de la prueba exacta de Fisher se vuelve más apropiado.

Las pruebas de permutación existen en muchas situaciones en las que las pruebas paramétricas no existen (por ejemplo, cuando se deriva una prueba óptima cuando las pérdidas son proporcionales al tamaño de un error en lugar de a su cuadrado). Todas las pruebas paramétricas simples y muchas relativamente complejas tienen una versión de prueba de permutación correspondiente que se define utilizando el mismo estadístico de prueba que la prueba paramétrica, pero obtiene el valor p de la distribución de permutación específica de la muestra de ese estadístico, en lugar de a partir de la distribución teórica derivada del supuesto paramétrico. Por ejemplo, de esta manera es posible construir una prueba t de permutación, una prueba de asociación de permutación , una versión de permutación de la prueba de Aly para comparar varianzas, etc. ${\textstyle \chi ^{2}}$

Las principales desventajas de las pruebas de permutación son que

• Puede requerir un gran esfuerzo computacional y código "personalizado" para estadísticas difíciles de calcular. Esto debe reescribirse para cada caso.
• Se utilizan principalmente para proporcionar un valor p. La inversión de la prueba para obtener regiones o intervalos de confianza requiere aún más cálculo.

Ventajas

Existen pruebas de permutación para cualquier estadística de prueba, independientemente de que se conozca o no su distribución. Por lo tanto, siempre se tiene la libertad de elegir la estadística que mejor discrimine entre hipótesis y alternativas y que minimice las pérdidas.

Las pruebas de permutación se pueden utilizar para analizar diseños no balanceados ^[4] y para combinar pruebas dependientes en mezclas de datos categóricos, ordinales y métricos (Pesarin, 2001) ^{[ cita requerida ]} . También se pueden utilizar para analizar datos cualitativos que se han cuantificado (es decir, convertidos en números). Las pruebas de permutación pueden ser ideales para analizar datos cuantificados que no satisfacen los supuestos estadísticos subyacentes a las pruebas paramétricas tradicionales (por ejemplo, pruebas t, ANOVA), ^[5] consulte PERMANOVA .

Antes de la década de 1980, la carga de crear la distribución de referencia era abrumadora, excepto para conjuntos de datos con tamaños de muestra pequeños.

Desde la década de 1980, la confluencia de computadoras rápidas relativamente económicas y el desarrollo de nuevos algoritmos de trayectoria sofisticados aplicables en situaciones especiales hicieron que la aplicación de métodos de prueba de permutación fuera práctica para una amplia gama de problemas. También inició la adición de opciones de prueba exacta en los principales paquetes de software estadístico y la aparición de software especializado para realizar una amplia gama de pruebas exactas uni y multivariables y calcular intervalos de confianza "exactos" basados ​​en pruebas.

Limitaciones

Un supuesto importante detrás de una prueba de permutación es que las observaciones son intercambiables bajo la hipótesis nula. Una consecuencia importante de este supuesto es que las pruebas de diferencia en la ubicación (como una prueba t de permutación) requieren varianza igual bajo el supuesto de normalidad. En este sentido, la prueba t de permutación clásica comparte la misma debilidad que la prueba t de Student clásica (el problema de Behrens-Fisher ). Esto se puede abordar de la misma manera que la prueba t clásica se ha extendido para manejar varianzas desiguales: empleando el estadístico de Welch con ajuste de Satterthwaite a los grados de libertad. ^[6] Una tercera alternativa en esta situación es utilizar una prueba basada en bootstrap. El estadístico Phillip Good explica la diferencia entre pruebas de permutación y pruebas bootstrap de la siguiente manera: "Las permutaciones prueban hipótesis relacionadas con distribuciones; las pruebas bootstrap prueban hipótesis relacionadas con parámetros. Como resultado, el bootstrap implica supuestos menos estrictos". ^[7] Las pruebas bootstrap no son exactas. En algunos casos, una prueba de permutación basada en una estadística adecuadamente estudentizada puede ser asintóticamente exacta incluso cuando se viola el supuesto de intercambiabilidad. ^[8] Las pruebas basadas en bootstrap pueden probar con la hipótesis nula y, por lo tanto, son adecuadas para realizar pruebas de equivalencia . ${\displaystyle H_{0}:F\neq G}$

Prueba de Montecarlo

Se puede crear una prueba de permutación asintóticamente equivalente cuando hay demasiados ordenamientos posibles de los datos para permitir una enumeración completa de una manera conveniente. Esto se hace generando la distribución de referencia mediante muestreo de Monte Carlo , que toma una pequeña muestra aleatoria (en relación con el número total de permutaciones) de las posibles réplicas. La comprensión de que esto podría aplicarse a cualquier prueba de permutación en cualquier conjunto de datos fue un avance importante en el área de la estadística aplicada. Las primeras referencias conocidas a este enfoque son Eden y Yates (1933) y Dwass (1957). ^{[9] [10]} Este tipo de prueba de permutación se conoce con varios nombres: prueba de permutación aproximada , pruebas de permutación de Monte Carlo o pruebas de permutación aleatoria . ^[11]

Después de realizar permutaciones aleatorias, es posible obtener un intervalo de confianza para el valor p basado en la distribución binomial, véase Intervalo de confianza de la proporción binomial . Por ejemplo, si después de realizar permutaciones aleatorias se estima que el valor p es , entonces un intervalo de confianza del 99 % para el valor verdadero (el que resultaría de probar todas las permutaciones posibles) es . ${\displaystyle N}$ ${\displaystyle N=10000}$ ${\displaystyle {\widehat {p}}=0.05}$ ${\displaystyle p}$ ${\displaystyle \left[{\hat {p}}-z{\sqrt {\frac {0.05(1-0.05)}{10000}}},{\hat {p}}+z{\sqrt {\frac {0.05(1-0.05)}{10000}}}\right]=[0.045,0.055]}$

Por otra parte, el propósito de estimar el valor p es, en la mayoría de los casos, decidir si , donde es el umbral en el que se rechazará la hipótesis nula (normalmente ). En el ejemplo anterior, el intervalo de confianza solo nos dice que hay aproximadamente un 50 % de posibilidades de que el valor p sea menor que 0,05, es decir, no está del todo claro si la hipótesis nula debería rechazarse en un nivel . ${\displaystyle p\leq \alpha }$ ${\displaystyle \scriptstyle \ \alpha }$ ${\displaystyle \alpha =0.05}$ ${\displaystyle \alpha =0.05}$

Si solo es importante saber si para un determinado , es lógico continuar simulando hasta que se pueda establecer que la afirmación es verdadera o falsa con una probabilidad muy baja de error. Dado un límite en la probabilidad admisible de error (la probabilidad de encontrar que cuando en realidad o viceversa), la cuestión de cuántas permutaciones generar puede verse como la cuestión de cuándo dejar de generar permutaciones, en función de los resultados de las simulaciones hasta el momento, para garantizar que la conclusión (que es o ) es correcta con una probabilidad al menos tan grande como . ( normalmente se elegirá que sea extremadamente pequeña, p. ej. 1/1000). Se han desarrollado reglas de detención para lograr esto ^[12] que se pueden incorporar con un costo computacional adicional mínimo. De hecho, dependiendo del verdadero valor p subyacente, a menudo se encontrará que el número de simulaciones requeridas es notablemente pequeño (p. ej. tan bajo como 5 y a menudo no mayor que 100) antes de que se pueda llegar a una decisión con certeza virtual. ${\displaystyle p\leq \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle p\leq \alpha }$ ${\displaystyle \epsilon }$ ${\displaystyle {\widehat {p}}>\alpha }$ ${\displaystyle p\leq \alpha }$ ${\displaystyle p\leq \alpha }$ ${\displaystyle p>\alpha }$ ${\displaystyle 1-\epsilon }$ ${\displaystyle \epsilon }$

Pruebas de ejemplo

• Análisis de varianza permutacional
• Producto de rango

Véase también

• Prueba de rango
• Prueba de Lepage

Literatura

Referencias originales:

• Fisher, RA (1935) El diseño de experimentos , Nueva York: Hafner
• Pitman, EJG (1937) "Pruebas de significancia que pueden aplicarse a muestras de cualquier población", Royal Statistical Society Supplement , 4: 119-130 y 225-32 (partes I y II). JSTOR  2984124 JSTOR  2983647
• Pitman, EJG (1938). "Pruebas de significación que pueden aplicarse a muestras de cualquier población. Parte III. La prueba de análisis de varianza". Biometrika . 29 (3–4): 322–335. doi :10.1093/biomet/29.3-4.322.

Referencias modernas:

• Collingridge, DS (2013). "Una introducción al análisis de datos cuantificados y pruebas de permutación". Revista de investigación de métodos mixtos . 7 (1): 79–95. doi :10.1177/1558689812454457. S2CID  124618343.
• Edgington, ES, y Onghena, P. (2007) Pruebas de aleatorización , 4.ª ed. Nueva York: Chapman and Hall/CRC ISBN 9780367577711 
• Good, Phillip I. (2005) Pruebas de hipótesis permutativas, paramétricas y bootstrap , 3.ª ed., Springer ISBN 0-387-98898-X 
• Good, P (2002). "Extensiones del concepto de intercambiabilidad y sus aplicaciones". Journal of Modern Applied Statistical Methods . 1 (2): 243–247. doi : 10.22237/jmasm/1036110240 .
• Lunneborg, Cliff. (1999) Análisis de datos por remuestreo , Duxbury Press. ISBN 0-534-22110-6 . 
• Pesarin, F. (2001). Pruebas de permutación multivariante: con aplicaciones en bioestadística , John Wiley & Sons . ISBN 978-0471496700 
• Welch, WJ (1990). "Construcción de pruebas de permutación". Revista de la Asociación Estadounidense de Estadística . 85 (411): 693–698. doi :10.1080/01621459.1990.10474929.

Métodos computacionales:

• Mehta, CR; Patel, NR (1983). "Un algoritmo de red para realizar la prueba exacta de Fisher en tablas de contingencia rxc". Revista de la Asociación Estadounidense de Estadística . 78 (382): 427–434. doi :10.1080/01621459.1983.10477989.
• Mehta, CR; Patel, NR; Senchaudhuri, P. (1988). "Muestreo de importancia para estimar probabilidades exactas en inferencia permutacional". Revista de la Asociación Estadounidense de Estadística . 83 (404): 999–1005. doi :10.1080/01621459.1988.10478691.
• Gill, PMW (2007). "Cálculo eficiente de valores p en pruebas de significación de permutación de estadística lineal" (PDF) . Revista de computación estadística y simulación . 77 (1): 55–61. CiteSeerX  10.1.1.708.1957 . doi :10.1080/10629360500108053. S2CID  1813706.

Investigación actual sobre pruebas de permutación

• Good, PI (2012) Guía para profesionales sobre métodos de remuestreo.
• Good, PI (2005) Pruebas de hipótesis permutativas, paramétricas y bootstrap
• Hesterberg, TC, DS Moore, S. Monaghan, A. Clipson y R. Epstein (2005): Métodos Bootstrap y pruebas de permutación, software.
• Moore, DS, G. McCabe, W. Duckworth y S. Sclove (2003): Métodos bootstrap y pruebas de permutación
• Simon, JL (1997): Remuestreo: las nuevas estadísticas.
• Yu, Chong Ho (2003): Métodos de remuestreo: conceptos, aplicaciones y justificación. Practical Assessment, Research & Evaluation, 8(19). (bootstrapping estadístico)
• Remuestreo: una unión entre computadoras y estadísticas (ERIC Digests)
• Pesarin, F., Salmaso, L. (2010). Pruebas de permutación para datos complejos: teoría, aplicaciones y software. Wiley. https://books.google.com/books?id=9PWVTOanxPUC&hl=es

Referencias

1. Moore, Jason H. "Bootstrapping, pruebas de permutación y el método de datos sustitutos". Física en Medicina y Biología 44.6 (1999): L11.
2. Onghena, Patrick (30 de octubre de 2017), Berger, Vance W. (ed.), "¿Pruebas de aleatorización o pruebas de permutación? Una aclaración histórica y terminológica", Aleatorización, enmascaramiento y ocultamiento de la asignación (1.ª ed.), Boca Raton, FL: Chapman and Hall/CRC, págs. 209-228, doi :10.1201/9781315305110-14, ISBN 978-1-315-30511-0, consultado el 8 de octubre de 2021
3. Phipson, Belinda; Smyth, Gordon K (2010). "Los valores p de permutación nunca deben ser cero: cálculo de valores p exactos cuando las permutaciones se extraen aleatoriamente". Aplicaciones estadísticas en genética y biología molecular . 9 (1): Artículo 39. arXiv : 1603.05766 . doi :10.2202/1544-6115.1585. PMID  21044043. S2CID  10735784.
4. "Artículos invitados" (PDF) . Journal of Modern Applied Statistical Methods . 1 (2): 202–522. Otoño de 2011. Archivado desde el original (PDF) el 5 de mayo de 2003.
5. Collingridge, Dave S. (11 de septiembre de 2012). "Una introducción al análisis de datos cuantificados y pruebas de permutación". Revista de investigación de métodos mixtos . 7 (1): 81–97. doi :10.1177/1558689812454457. S2CID  124618343.
6. Janssen, Arnold (1997). "Pruebas de permutación studentizadas para hipótesis no IID y el problema generalizado de Behrens-Fisher". Statistics & Probability Letters . 36 (1): 9–21. doi :10.1016/s0167-7152(97)00043-6.
7. Good, Phillip I. (2005). Métodos de remuestreo: una guía práctica para el análisis de datos (3.ª ed.). Birkhäuser. ISBN 978-0817643867.
8. Chung, EY; Romano, JP (2013). "Pruebas de permutación exactas y asintóticamente robustas". Anales de Estadística . 41 (2): 487–507. arXiv : 1304.5939 . doi : 10.1214/13-AOS1090 .
9. Eden, T; Yates, F (1933). "Sobre la validez de la prueba z de Fisher cuando se aplica a un ejemplo real de datos no normales. (Con cinco figuras de texto)". The Journal of Agricultural Science . 23 (1): 6–17. doi :10.1017/S0021859600052862. S2CID  84802682 . Consultado el 3 de junio de 2021 .
10. Dwass, Meyer (1957). "Pruebas de aleatorización modificadas para hipótesis no paramétricas". Anales de estadística matemática . 28 (1): 181–187. doi : 10.1214/aoms/1177707045 . JSTOR  2237031.
11. Thomas E. Nichols , Andrew P. Holmes (2001). "Pruebas de permutación no paramétricas para neuroimagen funcional: una introducción con ejemplos" (PDF) . Mapeo cerebral humano . 15 (1): 1–25. doi :10.1002/hbm.1058. hdl :2027.42/35194. PMC 6871862. PMID  11747097 . 
12. Gandy, Axel (2009). "Implementación secuencial de pruebas de Monte Carlo con riesgo de remuestreo uniformemente acotado". Revista de la Asociación Estadounidense de Estadística . 104 (488): 1504–1511. arXiv : math/0612488 . doi :10.1198/jasa.2009.tm08368. S2CID  15935787.