Prueba de Anderson-Darling

Prueba estadística

La prueba de Anderson-Darling es una prueba estadística para determinar si una muestra dada de datos proviene de una distribución de probabilidad dada . En su forma básica, la prueba supone que no hay parámetros que estimar en la distribución que se está probando, en cuyo caso la prueba y su conjunto de valores críticos no tienen distribución. Sin embargo, la prueba se usa con mayor frecuencia en contextos en los que se está probando una familia de distribuciones, en cuyo caso es necesario estimar los parámetros de esa familia y tener esto en cuenta al ajustar la estadística de prueba o sus valores críticos. Cuando se aplica para probar si una distribución normal describe adecuadamente un conjunto de datos, es una de las herramientas estadísticas más poderosas para detectar la mayoría de las desviaciones de la normalidad . ^{[1] [2]} Las pruebas de Anderson-Darling de K muestras están disponibles para probar si varias colecciones de observaciones pueden modelarse como provenientes de una sola población, donde no es necesario especificar la función de distribución .

Además de su uso como prueba de ajuste para distribuciones, se puede utilizar en la estimación de parámetros como base para una forma de procedimiento de estimación de distancia mínima .

La prueba lleva el nombre de Theodore Wilbur Anderson (1918-2016) y Donald A. Darling (1915-2014), quienes la inventaron en 1952. ^[3]

La prueba de muestra única

Las estadísticas de Anderson-Darling y Cramér-von Mises pertenecen a la clase de estadísticas EDF cuadráticas (pruebas basadas en la función de distribución empírica ). ^[2] Si la distribución hipotética es , y la función de distribución acumulativa empírica (muestral) es , entonces las estadísticas EDF cuadráticas miden la distancia entre y mediante ${\displaystyle F}$ ${\displaystyle F_{n}}$ ${\displaystyle F}$ ${\displaystyle F_{n}}$

${\displaystyle n\int _{-\infty }^{\infty }(F_{n}(x)-F(x))^{2}\,w(x)\,dF(x),}$

donde es el número de elementos en la muestra, y es una función de ponderación. Cuando la función de ponderación es , el estadístico es el estadístico Cramér–von Mises . La prueba de Anderson–Darling (1954) ^[4] se basa en la distancia ${\displaystyle n}$ ${\displaystyle w(x)}$ ${\displaystyle w(x)=1}$

${\displaystyle A^{2}=n\int _{-\infty }^{\infty }{\frac {(F_{n}(x)-F(x))^{2}}{F(x)\;(1-F(x))}}\,dF(x),}$

que se obtiene cuando la función de peso es . Por lo tanto, en comparación con la distancia Cramér–von Mises , la distancia Anderson–Darling otorga más peso a las observaciones en las colas de la distribución. ${\displaystyle w(x)=[F(x)\;(1-F(x))]^{-1}}$

Estadística de prueba básica

La prueba de Anderson-Darling evalúa si una muestra proviene de una distribución específica. Aprovecha el hecho de que, cuando se da una distribución subyacente hipotética y se supone que los datos surgen de esta distribución, se puede suponer que la función de distribución acumulativa (CDF) de los datos sigue una distribución uniforme . Luego, se puede probar la uniformidad de los datos con una prueba de distancia (Shapiro 1980). La fórmula para la estadística de prueba para evaluar si los datos (nótese que los datos deben ordenarse) provienen de una CDF es ${\displaystyle A}$ ${\displaystyle \{Y_{1}<\cdots <Y_{n}\}}$ ${\displaystyle F}$

${\displaystyle A^{2}=-n-S\,,}$

dónde

${\displaystyle S=\sum _{i=1}^{n}{\frac {2i-1}{n}}\left[\ln(F(Y_{i}))+\ln \left(1-F(Y_{n+1-i})\right)\right].}$

La estadística de prueba puede entonces compararse con los valores críticos de la distribución teórica. En este caso, no se estiman parámetros en relación con la función de distribución acumulativa . ${\displaystyle F}$

Pruebas para familias de distribuciones

Esencialmente, la misma estadística de prueba se puede utilizar en la prueba de ajuste de una familia de distribuciones, pero luego se debe comparar con los valores críticos apropiados para esa familia de distribuciones teóricas y que dependen también del método utilizado para la estimación de parámetros.

Prueba de normalidad

Las pruebas empíricas han demostrado ^[5] que la prueba de Anderson-Darling no es tan buena como la prueba de Shapiro-Wilk , pero es mejor que otras pruebas. Stephens ^[1] ha demostrado ser una de las mejores estadísticas de funciones de distribución empíricas para detectar la mayoría de las desviaciones de la normalidad. ${\displaystyle A^{2}}$

El cálculo difiere según lo que se conoce sobre la distribución: ^[6]

• Caso 0: Se conocen tanto la media como la varianza . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Caso 1: Se conoce la varianza , pero se desconoce la media. ${\displaystyle \sigma ^{2}}$ ${\displaystyle \mu }$
• Caso 2: Se conoce la media , pero se desconoce la varianza . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Caso 3: Tanto la media como la varianza son desconocidas. ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

Las n observaciones, , para , de la variable deben ordenarse de manera que y la notación en lo siguiente supone que X _i representa las observaciones ordenadas. Sea ${\displaystyle X_{i}}$ ${\displaystyle i=1,\ldots n}$ ${\displaystyle X}$ ${\displaystyle X_{1}\leq X_{2}\leq ...\leq X_{n}}$

${\displaystyle {\hat {\mu }}={\begin{cases}\mu ,&{\text{if the mean is known.}}\\{\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},&{\text{otherwise.}}\end{cases}}}$

${\displaystyle {\hat {\sigma }}^{2}={\begin{cases}\sigma ^{2},&{\text{if the variance is known.}}\\{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},&{\text{if the variance is not known, but the mean is.}}\\{\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2},&{\text{otherwise.}}\end{cases}}}$

Los valores se estandarizan para crear nuevos valores , dados por ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

${\displaystyle Y_{i}={\frac {X_{i}-{\hat {\mu }}}{\hat {\sigma }}}.}$

Con la CDF normal estándar , se calcula utilizando ${\displaystyle \Phi }$ ${\displaystyle A^{2}}$

${\displaystyle A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}(2i-1)(\ln \Phi (Y_{i})+\ln(1-\Phi (Y_{n+1-i}))).}$

Una expresión alternativa en la que sólo se trata una única observación en cada paso de la suma es:

${\displaystyle A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}\left[(2i-1)\ln \Phi (Y_{i})+(2(n-i)+1)\ln(1-\Phi (Y_{i}))\right].}$

Se puede calcular una estadística modificada utilizando

${\displaystyle A^{*2}={\begin{cases}A^{2}\left(1+{\frac {4}{n}}-{\frac {25}{n^{2}}}\right),&{\text{if the variance and the mean are both unknown.}}\\A^{2},&{\text{otherwise.}}\end{cases}}}$

Si o supera un valor crítico dado, entonces se rechaza la hipótesis de normalidad con un cierto nivel de significación. Los valores críticos se dan en la tabla siguiente para valores de . ^{[1] [7]} ${\displaystyle A^{2}}$ ${\displaystyle A^{*2}}$ ${\displaystyle A^{*2}}$

Nota 1: Si = 0 o cualquier (0 o 1) entonces no se puede calcular y no está definido. ${\displaystyle {\hat {\sigma }}}$ ${\displaystyle \Phi (Y_{i})=}$ ${\displaystyle A^{2}}$

Nota 2: La fórmula de ajuste anterior se ha tomado de Shorack y Wellner (1986, pág. 239). Es necesario tener cuidado al hacer comparaciones entre distintas fuentes, ya que a menudo no se indica la fórmula de ajuste específica.

Nota 3: Stephens ^[1] señala que la prueba mejora cuando los parámetros se calculan a partir de los datos, incluso si se conocen.

Nota 4: Marsaglia y Marsaglia ^[7] proporcionan un resultado más preciso para el caso 0 al 85% y 99%.

Como alternativa, para el caso 3 anterior (tanto la media como la varianza son desconocidas), D'Agostino (1986) ^[6] en la Tabla 4.7 en la pág. 123 y en las páginas 372-373 da la estadística ajustada:

${\displaystyle A^{*2}=A^{2}\left(1+{\frac {0.75}{n}}+{\frac {2.25}{n^{2}}}\right).}$

y se rechaza la normalidad si excede 0,631, 0,754, 0,884, 1,047 o 1,159 con niveles de significación del 10%, 5%, 2,5%, 1% y 0,5%, respectivamente; el procedimiento es válido para un tamaño de muestra de al menos n=8. Las fórmulas para calcular los valores p para otros valores de se dan en la Tabla 4.9 en la pág. 127 del mismo libro. ${\displaystyle A^{*2}}$ ${\displaystyle A^{*2}}$

Pruebas para otras distribuciones

Anteriormente, se supuso que la variable estaba siendo probada para una distribución normal. Se puede probar cualquier otra familia de distribuciones, pero la prueba para cada familia se implementa utilizando una modificación diferente de la estadística de prueba básica y esto se refiere a valores críticos específicos para esa familia de distribuciones. Las modificaciones de la estadística y las tablas de valores críticos son dadas por Stephens (1986) ^[2] para las distribuciones exponencial, de valores extremos, Weibull, gamma, logística, Cauchy y von Mises. Las pruebas para la distribución log-normal (de dos parámetros) se pueden implementar transformando los datos utilizando un logaritmo y utilizando la prueba anterior para normalidad. Los detalles para las modificaciones requeridas a la estadística de prueba y para los valores críticos para la distribución normal y la distribución exponencial han sido publicados por Pearson & Hartley (1972, Tabla 54). Los detalles para estas distribuciones, con la adición de la distribución de Gumbel , también son dados por Shorack & Wellner (1986, p239). Stephens (1979) proporciona detalles sobre la distribución logística . Se puede obtener una prueba para la distribución Weibull (de dos parámetros) aprovechando el hecho de que el logaritmo de una variable Weibull tiene una distribución Gumbel . ${\displaystyle X_{i}}$

No paramétricoa-pruebas de muestra

Fritz Scholz y Michael A. Stephens (1987) analizan una prueba, basada en la medida de acuerdo entre distribuciones de Anderson-Darling, para determinar si una cantidad de muestras aleatorias con tamaños de muestra posiblemente diferentes pueden haber surgido de la misma distribución, cuando esta distribución no está especificada. ^[8] El paquete R kSamples y el paquete Python Scipy implementan esta prueba de rango para comparar k muestras entre varias otras pruebas de rango similares. ^{[9] [10]}

Para las muestras, la estadística se puede calcular de la siguiente manera bajo el supuesto de que la función de distribución de la muestra -ésima es continua. ${\displaystyle k}$ ${\displaystyle F_{i}}$ ${\displaystyle i}$

${\displaystyle A_{kN}^{2}={\frac {1}{N}}\sum _{i=1}^{k}{\frac {1}{n_{i}}}\sum _{j=1}^{N-1}{\frac {(NM_{ij}-jn_{i})^{2}}{j(N-j)}}}$

dónde

• ${\displaystyle n_{i}}$es el número de observaciones en la muestra -ésima ${\displaystyle i}$
• ${\displaystyle N}$es el número total de observaciones en todas las muestras
• ${\displaystyle Z_{1}<\cdots <Z_{N}}$es la muestra ordenada agrupada
• ${\displaystyle M_{ij}}$es el número de observaciones en la muestra -ésima que no son mayores que . ^[8] ${\displaystyle i}$ ${\displaystyle Z_{j}}$

Véase también

• Prueba de Kolmogorov-Smirnov
• Prueba de Kuiper
• Prueba de Shapiro-Wilk
• Prueba de Jarque-Bera
• Bondad de ajuste

Referencias

1. Stephens, MA (1974). "Estadísticas EDF para bondad de ajuste y algunas comparaciones". Revista de la Asociación Estadounidense de Estadística . 69 (347): 730–737. doi :10.2307/2286009. JSTOR  2286009.
2. MA Stephens (1986). "Pruebas basadas en estadísticas EDF". En D'Agostino, RB; Stephens, MA (eds.). Técnicas de bondad de ajuste . Nueva York: Marcel Dekker. ISBN 0-8247-7487-6.
3. Anderson, TW ; Darling, DA (1952). "Teoría asintótica de ciertos criterios de "bondad de ajuste" basados ​​en procesos estocásticos". Anales de estadística matemática . 23 (2): 193–212. doi : 10.1214/aoms/1177729437 .
4. Anderson, TW; Darling, DA (1954). "Una prueba de bondad de ajuste". Revista de la Asociación Estadounidense de Estadística . 49 (268): 765–769. doi :10.2307/2281537. JSTOR  2281537.
5. Razali, Nornadiah; Wah, Yap Bee (2011). "Comparaciones de potencia de las pruebas de Shapiro–Wilk, Kolmogorov–Smirnov, Lilliefors y Anderson–Darling". Revista de modelado estadístico y análisis . 2 (1): 21–33.
6. Ralph B. D'Agostino (1986). "Pruebas para la distribución normal". En D'Agostino, RB; Stephens, MA (eds.). Técnicas de bondad de ajuste . Nueva York: Marcel Dekker. ISBN 0-8247-7487-6.
7. Marsaglia, G. (2004). "Evaluación de la distribución Anderson-Darling". Revista de software estadístico . 9 (2): 730–737. CiteSeerX 10.1.1.686.1363 . doi : 10.18637/jss.v009.i02 . 
8. Scholz, FW; Stephens, MA (1987). "Pruebas Anderson-Darling para muestras K". Revista de la Asociación Estadounidense de Estadística . 82 (399): 918–924. doi :10.1080/01621459.1987.10478517.
9. "kSamples: Pruebas de rango de K-muestras y sus combinaciones". Proyecto R .
10. "La prueba de Anderson-Darling para k-muestras. Paquete Scipy".

Lectura adicional

• Corder, GW, Foreman, DI (2009). Estadísticas no paramétricas para no estadísticos: un enfoque paso a paso Wiley, ISBN 978-0-470-45461-9 
• Mehta, S. (2014) Temas de estadística ISBN 978-1499273533 
• Pearson ES, Hartley, HO (Editores) (1972) Tablas Biometrika para Estadísticos , Volumen II. CUP. ISBN 0-521-06937-8 . 
• Shapiro, SS (1980) Cómo probar la normalidad y otros supuestos distributivos. En: Referencias básicas de la ASQC en control de calidad: técnicas estadísticas 3, págs. 1–78.
• Shorack, GR , Wellner, JA (1986) Procesos empíricos con aplicaciones a la estadística , Wiley. ISBN 0-471-86725-X . 
• Stephens, MA (1979) Prueba de ajuste para la distribución logística basada en la función de distribución empírica , Biometrika, 66(3), 591–5.

Enlaces externos

• Manual de estadísticas del NIST de EE. UU.