Prueba de Anderson-Darling

prueba estadistica

La prueba de Anderson-Darling es una prueba estadística que determina si una muestra determinada de datos se extrae de una distribución de probabilidad determinada . En su forma básica, la prueba supone que no hay parámetros que estimar en la distribución que se está probando, en cuyo caso la prueba y su conjunto de valores críticos no tienen distribución. Sin embargo, la prueba se utiliza con mayor frecuencia en contextos donde se prueba una familia de distribuciones, en cuyo caso es necesario estimar los parámetros de esa familia y tener esto en cuenta al ajustar el estadístico de prueba o sus valores críticos. Cuando se aplica para probar si una distribución normal describe adecuadamente un conjunto de datos, es una de las herramientas estadísticas más poderosas para detectar la mayoría de las desviaciones de la normalidad . ^{[1] [2]} Las pruebas de Anderson-Darling de K- muestra están disponibles para probar si varias colecciones de observaciones pueden modelarse como provenientes de una sola población, donde no es necesario especificar la función de distribución .

Además de su uso como prueba de ajuste para distribuciones, puede usarse en la estimación de parámetros como base para una forma de procedimiento de estimación de distancia mínima .

La prueba lleva el nombre de Theodore Wilbur Anderson (1918-2016) y Donald A. Darling (1915-2014), quienes la inventaron en 1952. ^[3]

La prueba de una sola muestra

Las estadísticas de Anderson-Darling y Cramér-von Mises pertenecen a la clase de estadísticas cuadráticas EDF (pruebas basadas en la función de distribución empírica ). ^[2] Si la distribución hipotética es , y la función de distribución acumulativa empírica (muestra) es , entonces las estadísticas cuadráticas del EDF miden la distancia entre y por ${\displaystyle F}$ ${\displaystyle F_{n}}$ ${\displaystyle F}$ ${\displaystyle F_{n}}$

${\displaystyle n\int _{-\infty }^{\infty }(F_{n}(x)-F(x))^{2}\,w(x)\,dF(x),}$

donde es el número de elementos de la muestra y es una función de ponderación. Cuando la función de ponderación es , el estadístico es el estadístico de Cramér-von Mises . La prueba de Anderson-Darling (1954) ^[4] se basa en la distancia ${\displaystyle n}$ ${\displaystyle w(x)}$ ${\displaystyle w(x)=1}$

${\displaystyle A^{2}=n\int _{-\infty }^{\infty }{\frac {(F_{n}(x)-F(x))^{2}}{F(x)\;(1-F(x))}}\,dF(x),}$

que se obtiene cuando la función de peso es . Por tanto, en comparación con la distancia de Cramér-von Mises , la distancia de Anderson-Darling otorga más peso a las observaciones en los extremos de la distribución. ${\displaystyle w(x)=[F(x)\;(1-F(x))]^{-1}}$

Estadística de prueba básica

La prueba de Anderson-Darling evalúa si una muestra proviene de una distribución específica. Hace uso del hecho de que, cuando se da una distribución subyacente hipotética y se supone que los datos surgen de esta distribución, se puede suponer que la función de distribución acumulativa (CDF) de los datos sigue una distribución uniforme . Luego se puede probar la uniformidad de los datos con una prueba de distancia (Shapiro 1980). La fórmula para que el estadístico de prueba evalúe si los datos (tenga en cuenta que los datos deben ordenarse) provienen de una CDF es ${\displaystyle A}$ ${\displaystyle \{Y_{1}<\cdots <Y_{n}\}}$ ${\displaystyle F}$

${\displaystyle A^{2}=-n-S\,,}$

dónde

${\displaystyle S=\sum _{i=1}^{n}{\frac {2i-1}{n}}\left[\ln(F(Y_{i}))+\ln \left(1-F(Y_{n+1-i})\right)\right].}$

Luego, el estadístico de prueba se puede comparar con los valores críticos de la distribución teórica. En este caso, no se estiman parámetros en relación con la función de distribución acumulada . ${\displaystyle F}$

Pruebas para familias de distribuciones.

Básicamente, se puede utilizar el mismo estadístico de prueba en la prueba de ajuste de una familia de distribuciones, pero luego se debe comparar con los valores críticos apropiados para esa familia de distribuciones teóricas y que también dependen del método utilizado para la estimación de parámetros.

Prueba de normalidad

Las pruebas empíricas han encontrado ^[5] que la prueba de Anderson-Darling no es tan buena como la prueba de Shapiro-Wilk , pero es mejor que otras pruebas. Stephens ^[1] resultó ser una de las mejores estadísticas de función de distribución empírica para detectar la mayoría de las desviaciones de la normalidad. ${\displaystyle A^{2}}$

El cálculo difiere según lo que se sabe sobre la distribución: ^[6]

• Caso 0: Se conocen la media y la varianza . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Caso 1: Se conoce la varianza, pero se desconoce la media. ${\displaystyle \sigma ^{2}}$ ${\displaystyle \mu }$
• Caso 2: Se conoce la media, pero se desconoce la varianza. ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$
• Caso 3: Se desconocen tanto la media como la varianza . ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

Las n observaciones, , para , de la variable deben ordenarse de manera que y la notación siguiente suponga que X _i representa las observaciones ordenadas. Dejar ${\displaystyle X_{i}}$ ${\displaystyle i=1,\ldots n}$ ${\displaystyle X}$ ${\displaystyle X_{1}\leq X_{2}\leq ...\leq X_{n}}$

${\displaystyle {\hat {\mu }}={\begin{cases}\mu ,&{\text{if the mean is known.}}\\{\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},&{\text{otherwise.}}\end{cases}}}$

${\displaystyle {\hat {\sigma }}^{2}={\begin{cases}\sigma ^{2},&{\text{if the variance is known.}}\\{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2},&{\text{if the variance is not known, but the mean is.}}\\{\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2},&{\text{otherwise.}}\end{cases}}}$

Los valores se estandarizan para crear nuevos valores , dados por ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

${\displaystyle Y_{i}={\frac {X_{i}-{\hat {\mu }}}{\hat {\sigma }}}.}$

Con el CDF normal estándar , se calcula usando ${\displaystyle \Phi }$ ${\displaystyle A^{2}}$

${\displaystyle A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}(2i-1)(\ln \Phi (Y_{i})+\ln(1-\Phi (Y_{n+1-i}))).}$

Una expresión alternativa en la que sólo se trata una observación en cada paso de la suma es:

${\displaystyle A^{2}=-n-{\frac {1}{n}}\sum _{i=1}^{n}\left[(2i-1)\ln \Phi (Y_{i})+(2(n-i)+1)\ln(1-\Phi (Y_{i}))\right].}$

Una estadística modificada se puede calcular usando

${\displaystyle A^{*2}={\begin{cases}A^{2}\left(1+{\frac {4}{n}}-{\frac {25}{n^{2}}}\right),&{\text{if the variance and the mean are both unknown.}}\\A^{2},&{\text{otherwise.}}\end{cases}}}$

Si o excede un valor crítico dado, entonces la hipótesis de normalidad se rechaza con algún nivel de significancia. Los valores críticos se dan en la siguiente tabla para valores de . ^{[1] [7]} ${\displaystyle A^{2}}$ ${\displaystyle A^{*2}}$ ${\displaystyle A^{*2}}$

Nota 1: Si = 0 o cualquiera (0 o 1), entonces no se puede calcular y no está definido. ${\displaystyle {\hat {\sigma }}}$ ${\displaystyle \Phi (Y_{i})=}$ ${\displaystyle A^{2}}$

Nota 2: La fórmula de ajuste anterior está tomada de Shorack & Wellner (1986, p239). Es necesario tener cuidado al realizar comparaciones entre diferentes fuentes, ya que a menudo no se indica la fórmula de ajuste específica.

Nota 3: Stephens ^[1] señala que la prueba mejora cuando los parámetros se calculan a partir de los datos, incluso si se conocen.

Nota 4: Marsaglia y Marsaglia ^[7] proporcionan un resultado más preciso para el Caso 0 al 85% y 99%.

Alternativamente, para el caso 3 anterior (tanto la media como la varianza se desconocen), D'Agostino (1986) ^[6] en la Tabla 4.7 en la p. 123 y en las páginas 372–373 se proporciona la estadística ajustada:

${\displaystyle A^{*2}=A^{2}\left(1+{\frac {0.75}{n}}+{\frac {2.25}{n^{2}}}\right).}$

y la normalidad se rechaza si excede 0,631, 0,754, 0,884, 1,047 o 1,159 con niveles de significancia del 10%, 5%, 2,5%, 1% y 0,5%, respectivamente; el procedimiento es válido para un tamaño de muestra de al menos n=8. Las fórmulas para calcular los valores p para otros valores de se dan en la Tabla 4.9 en la p. 127 en el mismo libro. ${\displaystyle A^{*2}}$ ${\displaystyle A^{*2}}$

Pruebas para otras distribuciones.

Arriba, se supuso que se estaba probando la distribución normal de la variable. Se puede probar cualquier otra familia de distribuciones, pero la prueba para cada familia se implementa utilizando una modificación diferente del estadístico de prueba básico y esto se refiere a valores críticos específicos de esa familia de distribuciones. Las modificaciones del estadístico y las tablas de valores críticos están dadas por Stephens (1986) ^[2] para las distribuciones exponencial, de valores extremos, Weibull, gamma, logística, Cauchy y von Mises. Las pruebas para la distribución log-normal (de dos parámetros) se pueden implementar transformando los datos usando un logaritmo y usando la prueba de normalidad anterior. Pearson y Hartley (1972, Tabla 54) han publicado detalles de las modificaciones requeridas al estadístico de prueba y de los valores críticos para la distribución normal y la distribución exponencial . Shorack y Wellner (1986, p239) también proporcionan detalles de estas distribuciones, con la adición de la distribución de Gumbel . Stephens (1979) proporciona detalles sobre la distribución logística . Se puede obtener una prueba para la distribución de Weibull (de dos parámetros) haciendo uso del hecho de que el logaritmo de una variable de Weibull tiene una distribución de Gumbel . ${\displaystyle X_{i}}$

Pruebas no paramétricas de k muestras

Fritz Scholz y Michael A. Stephens (1987) analizan una prueba, basada en la medida de concordancia entre distribuciones de Anderson-Darling, para determinar si un número de muestras aleatorias con tamaños de muestra posiblemente diferentes pueden haber surgido de la misma distribución, donde esta distribución es no especificado. ^[8] El paquete R kSamples y el paquete Python Scipy implementan esta prueba de clasificación para comparar k muestras entre varias otras pruebas de clasificación similares. ^{[9] [10]}

Para muestras, la estadística se puede calcular de la siguiente manera, suponiendo que la función de distribución de la -ésima muestra es continua ${\displaystyle k}$ ${\displaystyle F_{i}}$ ${\displaystyle i}$

${\displaystyle A_{kN}^{2}={\frac {1}{N}}\sum _{i=1}^{k}{\frac {1}{n_{i}}}\sum _{j=1}^{N-1}{\frac {(NM_{ij}-jn_{i})^{2}}{j(N-j)}}}$

dónde

• ${\displaystyle n_{i}}$es el número de observaciones en la -ésima muestra ${\displaystyle i}$
• ${\displaystyle N}$es el número total de observaciones en todas las muestras
• ${\displaystyle Z_{1}<\cdots <Z_{N}}$es la muestra ordenada agrupada
• ${\displaystyle M_{ij}}$es el número de observaciones en la -ésima muestra que no son mayores que . ^[8] ${\displaystyle i}$ ${\displaystyle Z_{j}}$

Ver también

• Prueba de Kolmogorov-Smirnov
• prueba de kuiper
• Prueba de Shapiro-Wilk
• Prueba de Jarque-Bera
• Bondad de ajuste

Referencias

1. Stephens, MA (1974). "Estadísticas del FED sobre bondad de ajuste y algunas comparaciones". Revista de la Asociación Estadounidense de Estadística . 69 (347): 730–737. doi :10.2307/2286009. JSTOR  2286009.
2. MA Stephens (1986). "Pruebas basadas en estadísticas del EDF". En D'Agostino, RB; Stephens, MA (eds.). Técnicas de bondad de ajuste . Nueva York: Marcel Dekker. ISBN 0-8247-7487-6.
3. Anderson, TW ; Cariño, DA (1952). "Teoría asintótica de ciertos criterios de" bondad de ajuste "basados ​​en procesos estocásticos". Anales de estadística matemática . 23 (2): 193–212. doi : 10.1214/aoms/1177729437 .
4. Anderson, TW; Cariño, DA (1954). "Una prueba de bondad de ajuste". Revista de la Asociación Estadounidense de Estadística . 49 (268): 765–769. doi :10.2307/2281537. JSTOR  2281537.
5. Razali, Nornadiah; Wah, abeja Yap (2011). "Comparaciones de potencia de las pruebas de Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors y Anderson-Darling". Revista de análisis y modelado estadístico . 2 (1): 21–33.
6. Ralph B. D'Agostino (1986). "Pruebas para la Distribución Normal". En D'Agostino, RB; Stephens, MA (eds.). Técnicas de bondad de ajuste . Nueva York: Marcel Dekker. ISBN 0-8247-7487-6.
7. Marsaglia, G. (2004). "Evaluación de la distribución Anderson-Darling". Revista de software estadístico . 9 (2): 730–737. CiteSeerX 10.1.1.686.1363 . doi : 10.18637/jss.v009.i02 . 
8. Scholz, FW; Stephens, MA (1987). "Pruebas de Anderson-Darling de muestra K". Revista de la Asociación Estadounidense de Estadística . 82 (399): 918–924. doi :10.1080/01621459.1987.10478517.
9. "kSamples: pruebas de rango de muestras K y sus combinaciones". Proyecto R.
10. "La prueba de Anderson-Darling para muestras k. Paquete Scipy".

Otras lecturas

• Corder, GW, capataz, DI (2009). Estadísticas no paramétricas para no estadísticos: un enfoque paso a paso Wiley, ISBN 978-0-470-45461-9 
• Mehta, S. (2014) Temas de estadística ISBN 978-1499273533 
• Pearson ES, Hartley, HO (Editores) (1972) Tablas Biometrika para estadísticos , Volumen II. TAZA. ISBN 0-521-06937-8 . 
• Shapiro, SS (1980) Cómo probar la normalidad y otros supuestos distributivos. En: Las referencias básicas de ASQC en control de calidad: técnicas estadísticas 3, págs. 1–78.
• Shorack, GR , Wellner, JA (1986) Procesos empíricos con aplicaciones a la estadística , Wiley. ISBN 0-471-86725-X . 
• Stephens, MA (1979) Prueba de ajuste para la distribución logística basada en la función de distribución empírica , Biometrika, 66(3), 591–5.

enlaces externos

• Manual de estadísticas del NIST de EE. UU.