stringtranslate.com

Prueba de Kolmogorov-Smirnov

Ilustración de la estadística de Kolmogorov-Smirnov. La línea roja es un CDF modelo , la línea azul es un CDF empírico y la flecha negra es el estadístico KS.

En estadística , la prueba de Kolmogorov-Smirnov ( prueba K-S o prueba KS ) es una prueba no paramétrica de la igualdad de distribuciones de probabilidad unidimensionales continuas (o discontinuas, consulte la Sección 2.2) que se pueden usar para probar si una muestra vino . a partir de una distribución de probabilidad de referencia dada (prueba K-S de una muestra), o para probar si dos muestras provienen de la misma distribución (prueba K-S de dos muestras). Intuitivamente, la prueba proporciona un método para responder cualitativamente a la pregunta "¿Qué probabilidad hay de que veamos una colección de muestras como esta si se extrajeran de esa distribución de probabilidad?" o, en el segundo caso, "¿Qué probabilidad hay de que veamos dos conjuntos de muestras como ésta si se extrajeran de la misma distribución de probabilidad (pero desconocida)?". Lleva el nombre de Andrey Kolmogorov y Nikolai Smirnov .

El estadístico de Kolmogorov-Smirnov cuantifica una distancia entre la función de distribución empírica de la muestra y la función de distribución acumulativa de la distribución de referencia, o entre las funciones de distribución empírica de dos muestras. La distribución nula de esta estadística se calcula bajo la hipótesis nula de que la muestra se extrae de la distribución de referencia (en el caso de una muestra) o que las muestras se extraen de la misma distribución (en el caso de dos muestras). En el caso de una muestra, la distribución considerada bajo la hipótesis nula puede ser continua (ver Sección 2), puramente discreta o mixta (ver Sección 2.2). En el caso de dos muestras (ver Sección 3), la distribución considerada bajo la hipótesis nula es una distribución continua pero por lo demás no tiene restricciones. Sin embargo, la prueba de dos muestras también se puede realizar en condiciones más generales que permitan la discontinuidad, la heterogeneidad y la dependencia entre muestras. [1]

La prueba K-S de dos muestras es uno de los métodos no paramétricos más útiles y generales para comparar dos muestras, ya que es sensible a las diferencias tanto en la ubicación como en la forma de las funciones empíricas de distribución acumulativa de las dos muestras.

La prueba de Kolmogorov-Smirnov se puede modificar para que sirva como prueba de bondad de ajuste . En el caso especial de probar la normalidad de la distribución, las muestras se estandarizan y se comparan con una distribución normal estándar. Esto equivale a establecer la media y la varianza de la distribución de referencia iguales a las estimaciones de la muestra, y se sabe que usarlas para definir la distribución de referencia específica cambia la distribución nula del estadístico de prueba (consulte Prueba con parámetros estimados). Varios estudios han encontrado que, incluso en esta forma corregida, la prueba es menos potente para comprobar la normalidad que la prueba de Shapiro-Wilk o la prueba de Anderson-Darling . [2] Sin embargo, estas otras pruebas tienen sus propias desventajas. Por ejemplo, se sabe que la prueba de Shapiro-Wilk no funciona bien en muestras con muchos valores idénticos.

Estadística de Kolmogorov-Smirnov de una muestra

La función de distribución empírica F n para n observaciones ordenadas X i independientes e idénticamente distribuidas (iid) se define como

donde está la función indicadora , igual a 1 si e igual a 0 en caso contrario.

El estadístico de Kolmogorov-Smirnov para una función de distribución acumulativa dada F ( x ) es

donde sup x es el supremo del conjunto de distancias. Intuitivamente, la estadística toma la diferencia absoluta más grande entre las dos funciones de distribución en todos los valores de x .

Según el teorema de Glivenko-Cantelli , si la muestra proviene de la distribución F ( x ), entonces D n converge a 0 casi con seguridad en el límite cuando va al infinito. Kolmogorov fortaleció este resultado al proporcionar efectivamente la tasa de esta convergencia (ver distribución de Kolmogorov). El teorema de Donsker proporciona un resultado aún más sólido.

En la práctica, la estadística requiere una cantidad relativamente grande de puntos de datos (en comparación con otros criterios de bondad de ajuste, como la estadística de prueba de Anderson-Darling ) para rechazar adecuadamente la hipótesis nula.

Distribución de Kolmogorov

Ilustración del PDF de la distribución Kolmogorov

La distribución de Kolmogorov es la distribución de la variable aleatoria.

donde B ( t ) es el puente browniano . La función de distribución acumulativa de K viene dada por [3]

que también puede expresarse mediante la función theta de Jacobi . Tanto la forma del estadístico de prueba de Kolmogorov-Smirnov como su distribución asintótica bajo la hipótesis nula fueron publicadas por Andrey Kolmogorov , [4] mientras que Nikolai Smirnov publicó una tabla de distribución . [5] Están disponibles relaciones de recurrencia para la distribución del estadístico de prueba en muestras finitas. [4]

Bajo la hipótesis nula de que la muestra proviene de la distribución hipotética F ( x ),

en distribución , donde B ( t ) es el puente browniano. Si F es continua entonces, bajo la hipótesis nula, converge a la distribución de Kolmogorov, que no depende de F. Este resultado también puede conocerse como teorema de Kolmogorov.

La precisión de este límite como aproximación a la CDF exacta de cuando es finita no es muy impresionante: incluso cuando , el error máximo correspondiente es aproximadamente ; este error aumenta hasta el cuando y hasta un cuando totalmente inaceptable . Sin embargo, un recurso muy simple de reemplazar por

en el argumento de la función theta de Jacobi reduce estos errores a , y respectivamente; dicha precisión normalmente se consideraría más que adecuada para todas las aplicaciones prácticas. [6]

La prueba de bondad de ajuste o la prueba de Kolmogorov-Smirnov se puede construir utilizando los valores críticos de la distribución de Kolmogorov. Esta prueba es asintóticamente válida cuando rechaza la hipótesis nula al nivel si

donde se encuentra K α

El poder asintótico de esta prueba es 1.

Los algoritmos rápidos y precisos para calcular la CDF o su complemento para arbitrario y están disponibles en:

Prueba con parámetros estimados.

Si la forma o los parámetros de F ( x ) se determinan a partir de los datos X i, los valores críticos determinados de esta manera no son válidos. En tales casos, es posible que se requiera Monte Carlo u otros métodos, pero se han preparado tablas para algunos casos. Se han publicado detalles de las modificaciones requeridas a la estadística de prueba y de los valores críticos para la distribución normal y la distribución exponencial , [11] y publicaciones posteriores también incluyen la distribución de Gumbel . [12] La prueba de Lilliefors representa un caso especial de esto para la distribución normal. La transformación logarítmica puede ayudar a superar los casos en los que los datos de la prueba de Kolmogorov no parecen ajustarse al supuesto de que provienen de la distribución normal.

Al utilizar parámetros estimados, surge la pregunta de qué método de estimación se debe utilizar. Normalmente, este sería el método de máxima verosimilitud , pero, por ejemplo, para la distribución normal, MLE tiene un gran error de sesgo en sigma. En su lugar, utilizar un ajuste de momento o una minimización de KS tiene un gran impacto en los valores críticos y también cierto impacto en la potencia de la prueba. Si necesitamos decidir para datos T de Student con gl = 2 mediante la prueba KS si los datos podrían ser normales o no, entonces una estimación ML basada en H 0 (los datos son normales, por lo que usar la desviación estándar para la escala) daría mucho. distancia KS mayor que un ajuste con KS mínimo. En este caso deberíamos rechazar H 0 , lo que suele ser el caso con MLE, porque la desviación estándar de la muestra puede ser muy grande para los datos T-2, pero con la minimización de KS podemos obtener todavía un KS demasiado bajo para rechazar H 0 . En el caso Student-T, una prueba KS modificada con una estimación de KS en lugar de MLE hace que la prueba KS sea ligeramente peor. Sin embargo, en otros casos, una prueba KS modificada de este tipo conduce a una potencia de prueba ligeramente mejor. [ cita necesaria ]

Distribución nula discreta y mixta

Bajo el supuesto de que no es decreciente y es continuo por la derecha, con un número contable (posiblemente infinito) de saltos, el estadístico de la prueba KS se puede expresar como:

De la continuidad por la derecha de , se deduce que y y por tanto, la distribución de depende de la distribución nula , es decir, ya no está libre de distribución como en el caso continuo. Por lo tanto, se ha desarrollado un método rápido y preciso para calcular la distribución exacta y asintótica de cuando es puramente discreta o mixta, [9] implementado en C++ y en el paquete KSgeneral [10] del lenguaje R. Las funciones y calculan también el estadístico de prueba KS y los valores p para distribuciones nulas puramente discretas, mixtas o continuas y tamaños de muestra arbitrarios . La prueba KS y sus valores p para distribuciones nulas discretas y tamaños de muestra pequeños también se calculan en [13] como parte del paquete dgof del lenguaje R. Los principales paquetes estadísticos entre los que se encuentran SAS , [14] Stata [15] implementan la prueba KS bajo el supuesto de que es continua, lo cual es más conservador si la distribución nula en realidad no es continua (ver [16] [17] [18] ).disc_ks_test()mixed_ks_test()cont_ks_test() PROC NPAR1WAY ksmirnov

Prueba de Kolmogorov-Smirnov de dos muestras

Ilustración de la estadística de Kolmogorov-Smirnov de dos muestras. Las líneas roja y azul corresponden cada una a una función de distribución empírica, y la flecha negra es el estadístico KS de dos muestras.

La prueba de Kolmogorov-Smirnov también se puede utilizar para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. En este caso, el estadístico Kolmogorov-Smirnov es

donde y son las funciones de distribución empírica de la primera y segunda muestra respectivamente, y es la función suprema .

Para muestras grandes, la hipótesis nula se rechaza al nivel si

Donde y son los tamaños de la primera y segunda muestra respectivamente. El valor de se proporciona en la siguiente tabla para los niveles más comunes de

y en general [19] por

para que la condición lea

Aquí, nuevamente, cuanto mayores son los tamaños de muestra, más sensible es el límite mínimo: para una proporción dada de tamaños de muestra (p. ej. ), el límite mínimo aumenta en el tamaño de cualquiera de las muestras de acuerdo con su raíz cuadrada inversa.

Tenga en cuenta que la prueba de dos muestras comprueba si las dos muestras de datos provienen de la misma distribución. Esto no especifica cuál es esa distribución común (por ejemplo, si es normal o no). Nuevamente se han publicado tablas de valores críticos. Una deficiencia de la prueba univariada de Kolmogorov-Smirnov es que no es muy potente porque está diseñada para ser sensible a todos los tipos posibles de diferencias entre dos funciones de distribución. Algunos argumentan [20] [21] que la prueba de Cucconi , originalmente propuesta para comparar simultáneamente ubicación y escala, puede ser mucho más poderosa que la prueba de Kolmogorov-Smirnov al comparar dos funciones de distribución.

Las pruebas KS de dos muestras se han aplicado en economía para detectar efectos asimétricos y estudiar experimentos naturales. [22]

Establecer límites de confianza para la forma de una función de distribución

Si bien la prueba de Kolmogorov-Smirnov generalmente se usa para probar si una F ( x ) dada es la distribución de probabilidad subyacente de F n ( x ), el procedimiento se puede invertir para dar límites de confianza sobre la propia F ( x ). Si se elige un valor crítico del estadístico de prueba D α tal que P( D n  >  D α ) = α , entonces una banda de ancho ± D α alrededor de F n ( x ) contendrá completamente F ( x ) con probabilidad 1 −  α .

La estadística de Kolmogorov-Smirnov en más de una dimensión

Justel , Peña y Zamar (1997) propusieron una prueba de bondad de ajuste multivariada de Kolmogorov-Smirnov sin distribución . [23] La prueba utiliza una estadística que se construye utilizando la transformación de Rosenblatt y se desarrolla un algoritmo para calcularla en el caso bivariado. También se presenta una prueba aproximada que se puede calcular fácilmente en cualquier dimensión.

Es necesario modificar el estadístico de la prueba de Kolmogorov-Smirnov si se va a aplicar una prueba similar a datos multivariados . Esto no es sencillo porque la diferencia máxima entre dos funciones de distribución acumulativas conjuntas generalmente no es la misma que la diferencia máxima de cualquiera de las funciones de distribución complementarias. Por lo tanto, la diferencia máxima diferirá dependiendo de cuál de las otras dos disposiciones posibles se utilice. Se podría exigir que el resultado de la prueba utilizada no dependa de la elección que se haga.

Un enfoque para generalizar la estadística de Kolmogorov-Smirnov a dimensiones superiores que satisfaga la preocupación anterior es comparar las CDF de las dos muestras con todos los ordenamientos posibles y tomar la mayor del conjunto de estadísticas KS resultantes. En d dimensiones, hay 2 d  − 1 de esos ordenamientos. Una de esas variaciones se debe a Peacock [24] (ver también Gosset [25] para una versión 3D) y otra a Fasano y Franceschini [26] (ver Lopes et al. para una comparación y detalles computacionales). [27] Los valores críticos para el estadístico de prueba se pueden obtener mediante simulaciones, pero dependen de la estructura de dependencia en la distribución conjunta.

En una dimensión, la estadística de Kolmogorov-Smirnov es idéntica a la llamada discrepancia de estrellas D, por lo que otra extensión nativa de KS a dimensiones superiores sería simplemente usar D también para dimensiones superiores. Desafortunadamente, la discrepancia de estrellas es difícil de calcular en dimensiones grandes.

En 2021 se propuso la forma funcional del estadístico de prueba KS multivariado, que simplificó el problema de estimar las probabilidades de cola del estadístico de prueba KS multivariado, que es necesario para la prueba estadística. Para el caso multivariado, si F i es el i ésimo marginal continuo de una distribución de probabilidad con k variables, entonces

entonces la distribución límite no depende de las distribuciones marginales. [1]

Implementaciones

La prueba de Kolmogorov-Smirnov se implementa en muchos programas de software. La mayoría de ellos implementan la prueba de una y dos muestras.

Ver también

Referencias

  1. ^ ab Naamán, Michael (2021). "Sobre la constante estricta en la desigualdad multivariada de Dvoretzky-Kiefer-Wolfowitz". Cartas de Estadística y Probabilidad . 173 : 109088. doi : 10.1016/j.spl.2021.109088 . S2CID  233844405.
  2. ^ Stephens, MA (1974). "Estadísticas del FED sobre bondad de ajuste y algunas comparaciones". Revista de la Asociación Estadounidense de Estadística . 69 (347): 730–737. doi :10.2307/2286009. JSTOR  2286009.
  3. ^ Marsaglia G, Tsang WW, Wang J (2003). "Evaluación de la distribución de Kolmogorov". Revista de software estadístico . 8 (18): 1–4. doi : 10.18637/jss.v008.i18 .
  4. ^ ab Kolmogorov A (1933). "Sulla determinazione empírica di una legge di distribuzione". G. Ist. Italiano. Attuari . 4 : 83–91.
  5. ^ Smirnov N. (1948). "Tabla para estimar la bondad de ajuste de distribuciones empíricas". Anales de estadística matemática . 19 (2): 279–281. doi : 10.1214/aoms/1177730256 .
  6. ^ Vrbik, enero (2018). "Correcciones de muestras pequeñas a la estadística de prueba de Kolmogorov-Smirnov". Revista pionera en estadística teórica y aplicada . 15 (1–2): 15–23.
  7. ^ ab Simard R, L'Ecuyer P (2011). "Cálculo de la distribución bilateral Kolmogorov-Smirnov". Revista de software estadístico . 39 (11): 1–18. doi : 10.18637/jss.v039.i11 .
  8. ^ Moscovich A, Nadler B (2017). "Cálculo rápido de probabilidades de cruce de límites para procesos de Poisson". Cartas de Estadística y Probabilidad . 123 : 177–182. arXiv : 1503.04363 . doi :10.1016/j.spl.2016.11.027. S2CID  12868694.
  9. ^ abc Dimitrova DS, Kaishev VK, Tan S (2020). "Cálculo de la distribución de Kolmogorov-Smirnov cuando la CDF subyacente es puramente discreta, mixta o continua". Revista de software estadístico . 95 (10): 1–42. doi : 10.18637/jss.v095.i10 .
  10. ^ abc Dimitrova, Dimitrina; Kaishev, Vladimir; Tan, Senren (2 de octubre de 2020). "KSgeneral: cálculo de los valores P de la prueba KS para distribución nula (dis) continua". cran.r-project.org/web/packages/KSgeneral/index.html .
  11. ^ Pearson, ES; Hartley, HO, eds. (1972). Tablas Biometrika para estadísticos . vol. 2. Prensa de la Universidad de Cambridge. págs. 117-123, tablas 54, 55. ISBN 978-0-521-06937-3.
  12. ^ Shorack, Galeno R.; Wellner, Jon A. (1986). Procesos Empíricos con Aplicaciones a la Estadística . Wiley. pag. 239.ISBN _ 978-0-471-86725-8.
  13. ^ Arnold, Taylor B.; Emerson, John W. (2011). "Pruebas no paramétricas de bondad de ajuste para distribuciones nulas discretas" (PDF) . El Diario R. 3 (2): 34\[Guión]39. doi : 10.32614/rj-2011-016 .
  14. ^ "Guía del usuario de SAS/STAT(R) 14.1". soporte.sas.com . Consultado el 14 de abril de 2018 .
  15. ^ "ksmirnov - Prueba de igualdad de distribuciones de Kolmogorov-Smirnov" (PDF) . stata.com . Consultado el 14 de abril de 2018 .
  16. ^ Noether GE (1963). "Nota sobre la estadística de Kolmogorov en el caso discreto". Métrica . 7 (1): 115-116. doi :10.1007/bf02613966. S2CID  120687545.
  17. ^ Slakter MJ (1965). "Una comparación de las pruebas de bondad de ajuste de Pearson Chi-Square y Kolmogorov con respecto a la validez". Revista de la Asociación Estadounidense de Estadística . 60 (311): 854–858. doi :10.2307/2283251. JSTOR  2283251.
  18. ^ Walsh JE (1963). "Propiedades de probabilidad acotada de Kolmogorov-Smirnov y estadísticas similares para datos discretos". Anales del Instituto de Matemática Estadística . 15 (1): 153-158. doi :10.1007/bf02865912. S2CID  122547015.
  19. ^ Ec. (15) en la Sección 3.3.1 de Knuth, DE, The Art of Computer Programming, Volumen 2 (Algoritmos seminuméricos), 3.ª edición, Addison Wesley, Reading Mass, 1998.
  20. ^ Marozzi, Marco (2009). "Algunas notas sobre la prueba Cucconi a escala de ubicación". Revista de estadística no paramétrica . 21 (5): 629–647. doi :10.1080/10485250902952435. S2CID  120038970.
  21. ^ Marozzi, Marco (2013). "Pruebas simultáneas no paramétricas para pruebas de ubicación y escala: una comparación de varios métodos". Comunicaciones en Estadística - Simulación y Computación . 42 (6): 1298-1317. doi :10.1080/03610918.2012.665546. S2CID  28146102.
  22. ^ Monge, Marco (2023). "Pruebas de Kolmogorov-Smirnov de dos muestras como pruebas de causalidad. Una narrativa de la inflación latinoamericana de 2020 a 2022". 17 (1): 68–78. {{cite journal}}: Citar diario requiere |journal=( ayuda )
  23. ^ Justel, A .; Peña, D.; Zamar, R. (1997). "Una prueba multivariada de bondad de ajuste de Kolmogorov-Smirnov". Cartas de estadística y probabilidad . 35 (3): 251–259. CiteSeerX 10.1.1.498.7631 . doi :10.1016/S0167-7152(97)00020-5. 
  24. ^ Pavo real JA (1983). "Pruebas de bondad de ajuste bidimensional en astronomía". Avisos mensuales de la Real Sociedad Astronómica . 202 (3): 615–627. Código bibliográfico : 1983MNRAS.202..615P. doi : 10.1093/mnras/202.3.615 .
  25. ^ Gosset E. (1987). "Una prueba tridimensional extendida de Kolmogorov-Smirnov como herramienta útil en astronomía}". Astronomía y Astrofísica . 188 (1): 258–264. Código Bib : 1987A&A...188..258G.
  26. ^ Fasano, G.; Franceschini, A. (1987). "Una versión multidimensional de la prueba de Kolmogorov-Smirnov". Avisos mensuales de la Real Sociedad Astronómica . 225 : 155-170. Código bibliográfico : 1987MNRAS.225..155F. doi : 10.1093/mnras/225.1.155 . ISSN  0035-8711.
  27. ^ Lopes, RHC; Reid, I.; Hobson, PR (23 a 27 de abril de 2007). La prueba bidimensional de Kolmogorov-Smirnov (PDF) . XI Taller Internacional sobre Técnicas Avanzadas de Computación y Análisis en la Investigación en Física. Ámsterdam, Países Bajos.
  28. ^ "scipy.stats.kstest". Manual de SciPy v1.7.1 . La comunidad Scipy . Consultado el 26 de octubre de 2021 .
  29. ^ "Prueba de KolmogorovSmirnov" . Consultado el 18 de junio de 2019 .
  30. ^ "Nuevos nodos de estadísticas" . Consultado el 25 de junio de 2020 .
  31. ^ "Pruebas no paramétricas · HypothesisTests.jl".
  32. ^ "ksmirnov - Kolmogorov-Smirnov prueba de igualdad de distribuciones" (PDF) . Consultado el 18 de junio de 2019 .
  33. ^ "Prueba de Kolmogorov-Smirnov para la prueba de hipótesis de normalidad" . Consultado el 18 de junio de 2019 .

Otras lecturas

enlaces externos