stringtranslate.com

Prueba de Kolmogorov-Smirnov

Ilustración del estadístico de Kolmogorov-Smirnov. La línea roja es una función de distribución de probabilidad (CDF) modelo , la línea azul es una CDF empírica y la flecha negra es el estadístico KS.

La prueba de Kolmogorov-Smirnov ( prueba K-S o prueba KS ) es una prueba no paramétrica de la igualdad de distribuciones de probabilidad unidimensionales continuas (o discontinuas, véase la Sección 2.2) que se puede utilizar para comprobar si una muestra procede de una distribución de probabilidad de referencia dada (prueba K-S de una muestra) o para comprobar si dos muestras proceden de la misma distribución (prueba K-S de dos muestras). Intuitivamente, la prueba proporciona un método para responder cualitativamente a la pregunta "¿Qué probabilidad hay de que veamos una colección de muestras como esta si se extrajeran de esa distribución de probabilidad?" o, en el segundo caso, "¿Qué probabilidad hay de que veamos dos conjuntos de muestras como este si se extrajeran de la misma distribución de probabilidad (pero desconocida)?". Lleva el nombre de Andrey Kolmogorov y Nikolai Smirnov .

El estadístico de Kolmogorov-Smirnov cuantifica la distancia entre la función de distribución empírica de la muestra y la función de distribución acumulada de la distribución de referencia, o entre las funciones de distribución empírica de dos muestras. La distribución nula de este estadístico se calcula bajo la hipótesis nula de que la muestra se extrae de la distribución de referencia (en el caso de una muestra) o que las muestras se extraen de la misma distribución (en el caso de dos muestras). En el caso de una muestra, la distribución considerada bajo la hipótesis nula puede ser continua (véase la Sección 2), puramente discreta o mixta (véase la Sección 2.2). En el caso de dos muestras (véase la Sección 3), la distribución considerada bajo la hipótesis nula es una distribución continua pero no tiene restricciones. Sin embargo, la prueba de dos muestras también se puede realizar bajo condiciones más generales que permitan la discontinuidad, la heterogeneidad y la dependencia entre muestras. [1]

La prueba K–S de dos muestras es uno de los métodos no paramétricos más útiles y generales para comparar dos muestras, ya que es sensible a las diferencias tanto en la ubicación como en la forma de las funciones de distribución acumulativa empírica de las dos muestras.

La prueba de Kolmogorov-Smirnov se puede modificar para que sirva como prueba de bondad de ajuste . En el caso especial de la prueba de normalidad de la distribución, las muestras se estandarizan y se comparan con una distribución normal estándar. Esto es equivalente a establecer la media y la varianza de la distribución de referencia iguales a las estimaciones de la muestra, y se sabe que el uso de estas para definir la distribución de referencia específica cambia la distribución nula de la estadística de prueba (ver Prueba con parámetros estimados). Varios estudios han encontrado que, incluso en esta forma corregida, la prueba es menos poderosa para probar la normalidad que la prueba de Shapiro-Wilk o la prueba de Anderson-Darling . [2] Sin embargo, estas otras pruebas tienen sus propias desventajas. Por ejemplo, se sabe que la prueba de Shapiro-Wilk no funciona bien en muestras con muchos valores idénticos.

Estadística de Kolmogorov-Smirnov de una muestra

La función de distribución empírica F n para n observaciones ordenadas independientes e idénticamente distribuidas (iid) X i se define como

donde es la función indicadora , igual a 1 si e igual a 0 en caso contrario.

La estadística de Kolmogorov-Smirnov para una función de distribución acumulativa dada F ( x ) es

donde sup x es el supremo del conjunto de distancias. Intuitivamente, la estadística toma la mayor diferencia absoluta entre las dos funciones de distribución en todos los valores x .

Según el teorema de Glivenko-Cantelli , si la muestra proviene de la distribución F ( x ), entonces D n converge a 0 casi con seguridad en el límite cuando tiende a infinito. Kolmogorov reforzó este resultado al proporcionar efectivamente la tasa de esta convergencia (véase la distribución de Kolmogorov). El teorema de Donsker proporciona un resultado aún más sólido.

En la práctica, la estadística requiere una cantidad relativamente grande de puntos de datos (en comparación con otros criterios de bondad de ajuste, como la estadística de prueba de Anderson-Darling ) para rechazar adecuadamente la hipótesis nula.

Distribución de Kolmogorov

Ilustración de la distribución de Kolmogorov en formato PDF

La distribución de Kolmogorov es la distribución de la variable aleatoria

donde B ( t ) es el puente browniano . La función de distribución acumulativa de K está dada por [3]

que también puede expresarse mediante la función theta de Jacobi . Tanto la forma del estadístico de prueba de Kolmogorov–Smirnov como su distribución asintótica bajo la hipótesis nula fueron publicadas por Andrey Kolmogorov [4] , mientras que Nikolai Smirnov publicó una tabla de la distribución . [5] Las relaciones de recurrencia para la distribución del estadístico de prueba en muestras finitas están disponibles. [4]

Bajo la hipótesis nula de que la muestra proviene de la distribución hipotética F ( x ),

en la distribución , donde B ( t ) es el puente browniano. Si F es continua, entonces bajo la hipótesis nula converge a la distribución de Kolmogorov, que no depende de F . Este resultado también puede conocerse como el teorema de Kolmogorov.

La precisión de este límite como aproximación a la función de distribución acumulada exacta de cuando es finito no es muy impresionante: incluso cuando , el error máximo correspondiente es de aproximadamente ; este error aumenta a cuando y a un valor totalmente inaceptable cuando . Sin embargo, un expediente muy simple de reemplazar por

en el argumento de la función theta de Jacobi se reducen estos errores a , , y respectivamente; dicha precisión se consideraría normalmente más que adecuada para todas las aplicaciones prácticas. [6]

La prueba de bondad de ajuste o prueba de Kolmogorov-Smirnov se puede construir utilizando los valores críticos de la distribución de Kolmogorov. Esta prueba es asintóticamente válida cuando rechaza la hipótesis nula en el nivel si

donde se encuentra K α

La potencia asintótica de esta prueba es 1.

Algoritmos rápidos y precisos para calcular la función de distribución acumulada o su complemento para y arbitrarios están disponibles en:

Prueba con parámetros estimados

Si la forma o los parámetros de F ( x ) se determinan a partir de los datos X i los valores críticos determinados de esta manera no son válidos. En tales casos, puede requerirse Monte Carlo u otros métodos, pero se han preparado tablas para algunos casos. Se han publicado detalles para las modificaciones requeridas para la estadística de prueba y para los valores críticos para la distribución normal y la distribución exponencial , [11] y publicaciones posteriores también incluyen la distribución de Gumbel . [12] La prueba de Lilliefors representa un caso especial de esto para la distribución normal. La transformación logarítmica puede ayudar a superar los casos en los que los datos de la prueba de Kolmogorov no parecen ajustarse al supuesto de que provienen de la distribución normal.

Usando parámetros estimados, surge la pregunta de qué método de estimación se debe usar. Por lo general, este sería el método de máxima verosimilitud , pero, por ejemplo, para la distribución normal, MLE tiene un gran error de sesgo en sigma. El uso de un ajuste de momento o minimización de KS en su lugar tiene un gran impacto en los valores críticos, y también algún impacto en la potencia de la prueba. Si necesitamos decidir para datos de Student-T con df = 2 a través de la prueba KS si los datos podrían ser normales o no, entonces una estimación de ML basada en H 0 (los datos son normales, por lo que se usa la desviación estándar para la escala) daría una distancia KS mucho mayor que un ajuste con KS mínimo. En este caso, deberíamos rechazar H 0 , que suele ser el caso con MLE, porque la desviación estándar de la muestra puede ser muy grande para datos T-2, pero con la minimización de KS podemos obtener todavía un KS demasiado bajo para rechazar H 0 . En el caso de Student-T, una prueba KS modificada con estimación de KS en lugar de MLE, hace que la prueba KS sea de hecho ligeramente peor. Sin embargo, en otros casos, una prueba KS modificada de este tipo produce una potencia de prueba ligeramente mejor. [ cita requerida ]

Distribución nula discreta y mixta

Suponiendo que no es decreciente y es continua hacia la derecha, con un número contable (posiblemente infinito) de saltos, la estadística de prueba KS se puede expresar como:

De la continuidad derecha de , se sigue que y y por lo tanto, la distribución de depende de la distribución nula , es decir, ya no es libre de distribución como en el caso continuo. Por lo tanto, se ha desarrollado un método rápido y preciso para calcular la distribución exacta y asintótica de cuando es puramente discreta o mixta, [9] implementado en C++ y en el paquete KSgeneral [10] del lenguaje R . Las funciones , y calculan también la estadística de prueba KS y los valores p para distribuciones nulas puramente discretas, mixtas o continuas y tamaños de muestra arbitrarios. La prueba KS y sus valores p para distribuciones nulas discretas y tamaños de muestra pequeños también se calculan en [13] como parte del paquete dgof del lenguaje R. Los principales paquetes estadísticos entre los que se encuentran SAS , [14] Stata [15] implementan la prueba KS bajo el supuesto de que es continua, lo que es más conservador si la distribución nula en realidad no es continua (véase [16] [17] [18] ).disc_ks_test()mixed_ks_test()cont_ks_test() PROC NPAR1WAY ksmirnov

Prueba de Kolmogorov-Smirnov de dos muestras

Ilustración del estadístico de Kolmogorov-Smirnov de dos muestras. Las líneas roja y azul corresponden a una función de distribución empírica, y la flecha negra es el estadístico KS de dos muestras.

La prueba de Kolmogorov-Smirnov también se puede utilizar para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. En este caso, la estadística de Kolmogorov-Smirnov es

donde y son las funciones de distribución empírica de la primera y la segunda muestra respectivamente, y es la función suprema .

Para muestras grandes, la hipótesis nula se rechaza en el nivel si

Donde y son los tamaños de la primera y la segunda muestra respectivamente. El valor de se da en la tabla siguiente para los niveles más comunes de

y en general [19] por

para que la condición se lea

Aquí, nuevamente, cuanto mayores sean los tamaños de muestra, más sensible será el límite mínimo: para una proporción dada de tamaños de muestra (por ejemplo ), el límite mínimo escala en el tamaño de cualquiera de las muestras de acuerdo con su raíz cuadrada inversa.

Nótese que la prueba de dos muestras verifica si las dos muestras de datos provienen de la misma distribución. Esto no especifica cuál es esa distribución común (por ejemplo, si es normal o no normal). Nuevamente, se han publicado tablas de valores críticos. Una deficiencia de la prueba univariante de Kolmogorov-Smirnov es que no es muy poderosa porque está diseñada para ser sensible a todos los tipos posibles de diferencias entre dos funciones de distribución. Algunos argumentan [20] [21] que la prueba de Cucconi , originalmente propuesta para comparar simultáneamente la ubicación y la escala, puede ser mucho más poderosa que la prueba de Kolmogorov-Smirnov al comparar dos funciones de distribución.

Las pruebas KS de dos muestras se han aplicado en economía para detectar efectos asimétricos y estudiar experimentos naturales. [22]

Establecer límites de confianza para la forma de una función de distribución

Si bien la prueba de Kolmogorov-Smirnov se utiliza habitualmente para comprobar si una F ( x ) dada es la distribución de probabilidad subyacente de F n ( x ), el procedimiento puede invertirse para dar límites de confianza sobre la propia F ( x ). Si se elige un valor crítico del estadístico de prueba D α tal que P( D n  >  D α ) = α , entonces una banda de ancho ± D α alrededor de F n ( x ) contendrá completamente a F ( x ) con probabilidad 1 −  α .

La estadística de Kolmogorov-Smirnov en más de una dimensión

Justel , Peña y Zamar (1997) propusieron una prueba de bondad de ajuste de Kolmogorov-Smirnov multivariada sin distribución [23] . La prueba utiliza un estadístico construido mediante la transformación de Rosenblatt y se desarrolló un algoritmo para calcularlo en el caso bivariado. También se presenta una prueba aproximada que se puede calcular fácilmente en cualquier dimensión.

Es necesario modificar la estadística de la prueba de Kolmogorov-Smirnov si se va a aplicar una prueba similar a datos multivariados . Esto no es sencillo porque la diferencia máxima entre dos funciones de distribución acumulativas conjuntas no suele ser la misma que la diferencia máxima de cualquiera de las funciones de distribución complementarias. Por lo tanto, la diferencia máxima variará según cuál de las otras dos posibles configuraciones se utilice. Se podría exigir que el resultado de la prueba utilizada no dependa de la elección que se haga.

Un enfoque para generalizar la estadística de Kolmogorov-Smirnov a dimensiones superiores que satisface la preocupación anterior es comparar las funciones de distribución acumuladas de las dos muestras con todos los ordenamientos posibles y tomar la más grande del conjunto de estadísticas KS resultantes. En d dimensiones, hay 2 d  − 1 de tales ordenamientos. Una de esas variaciones se debe a Peacock [24] (ver también Gosset [25] para una versión 3D) y otra a Fasano y Franceschini [26] (ver Lopes et al. para una comparación y detalles computacionales). [27] Los valores críticos para la estadística de prueba se pueden obtener mediante simulaciones, pero dependen de la estructura de dependencia en la distribución conjunta.

En una dimensión, la estadística de Kolmogorov-Smirnov es idéntica a la denominada discrepancia de estrella D, por lo que otra extensión nativa de KS a dimensiones superiores sería simplemente utilizar D también para dimensiones superiores. Desafortunadamente, la discrepancia de estrella es difícil de calcular en dimensiones superiores.

En 2021 se propuso la forma funcional del estadístico de prueba KS multivariante, que simplificó el problema de estimar las probabilidades de cola del estadístico de prueba KS multivariante, que es necesario para la prueba estadística. Para el caso multivariante, si F i es el i -ésimo marginal continuo de una distribución de probabilidad con k variables, entonces

Por lo tanto, la distribución límite no depende de las distribuciones marginales. [1]

Implementaciones

La prueba de Kolmogorov-Smirnov se implementa en muchos programas de software. La mayoría de ellos implementan tanto la prueba de una como la de dos muestras.

Véase también

Referencias

  1. ^ ab Naaman, Michael (2021). "Sobre la constante estrecha en la desigualdad multivariada de Dvoretzky-Kiefer-Wolfowitz". Statistics and Probability Letters . 173 : 109088. doi : 10.1016/j.spl.2021.109088 . S2CID  233844405.
  2. ^ Stephens, MA (1974). "Estadísticas EDF para bondad de ajuste y algunas comparaciones". Revista de la Asociación Estadounidense de Estadística . 69 (347): 730–737. doi :10.2307/2286009. JSTOR  2286009.
  3. ^ Marsaglia G, Tsang WW, Wang J (2003). "Evaluación de la distribución de Kolmogorov". Revista de software estadístico . 8 (18): 1–4. doi : 10.18637/jss.v008.i18 .
  4. ^ ab Kolmogorov A (1933). "Sulla determinazione empírica di una legge di distribuzione". G. Ist. Italiano. Attuari . 4 : 83–91.
  5. ^ Smirnov N (1948). "Tabla para estimar la bondad de ajuste de distribuciones empíricas". Anales de estadística matemática . 19 (2): 279–281. doi : 10.1214/aoms/1177730256 .
  6. ^ Vrbik, Jan (2018). "Correcciones de muestras pequeñas a la estadística de prueba de Kolmogorov-Smirnov". Revista pionera de estadística teórica y aplicada . 15 (1–2): 15–23.
  7. ^ ab Simard R, L'Ecuyer P (2011). "Cálculo de la distribución de Kolmogorov-Smirnov bilateral". Journal of Statistical Software . 39 (11): 1–18. doi : 10.18637/jss.v039.i11 .
  8. ^ Moscovich A, Nadler B (2017). "Cálculo rápido de probabilidades de cruce de límites para procesos de Poisson". Statistics and Probability Letters . 123 : 177–182. arXiv : 1503.04363 . doi :10.1016/j.spl.2016.11.027. S2CID  12868694.
  9. ^ abc Dimitrova DS, Kaishev VK, Tan S (2020). "Cálculo de la distribución de Kolmogorov-Smirnov cuando la función de distribución acumulativa subyacente es puramente discreta, mixta o continua". Journal of Statistical Software . 95 (10): 1–42. doi : 10.18637/jss.v095.i10 .
  10. ^ abc Dimitrova, Dimitrina; Yun, Jia; Kaishev, Vladimir; Tan, Senren (21 de mayo de 2024). "KSgeneral: KSgeneral: Cálculo de los valores P de la prueba KS de una muestra y las pruebas KS y de Kuiper de dos muestras para la distribución nula (dis)continua". CRAN.R-project.org/package=KSgeneral .
  11. ^ Pearson, ES; Hartley, HO, eds. (1972). Tablas de Biometrika para estadísticos . Vol. 2. Cambridge University Press. págs. 117-123, Tablas 54, 55. ISBN 978-0-521-06937-3.
  12. ^ Shorack, Galen R.; Wellner, Jon A. (1986). Procesos empíricos con aplicaciones a la estadística . Wiley. pág. 239. ISBN 978-0-471-86725-8.
  13. ^ Arnold, Taylor B.; Emerson, John W. (2011). "Pruebas no paramétricas de bondad de ajuste para distribuciones nulas discretas" (PDF) . The R Journal . 3 (2): 34\[Dash]39. doi : 10.32614/rj-2011-016 .
  14. ^ "Guía del usuario de SAS/STAT(R) 14.1". support.sas.com . Consultado el 14 de abril de 2018 .
  15. ^ "ksmirnov — Prueba de igualdad de distribuciones de Kolmogorov–Smirnov" (PDF) . stata.com . Consultado el 14 de abril de 2018 .
  16. ^ Noether GE (1963). "Nota sobre la estadística de Kolmogorov en el caso discreto". Metrika . 7 (1): 115–116. doi :10.1007/bf02613966. S2CID  120687545.
  17. ^ Slakter MJ (1965). "Una comparación de las pruebas de chi-cuadrado de Pearson y bondad de ajuste de Kolmogorov con respecto a la validez". Revista de la Asociación Estadounidense de Estadística . 60 (311): 854–858. doi :10.2307/2283251. JSTOR  2283251.
  18. ^ Walsh JE (1963). "Propiedades de probabilidad limitada de Kolmogorov-Smirnov y estadísticas similares para datos discretos". Anales del Instituto de Matemática Estadística . 15 (1): 153–158. doi :10.1007/bf02865912. S2CID  122547015.
  19. ^ Ec. (15) en la Sección 3.3.1 de Knuth, DE, The Art of Computer Programming, Volumen 2 (Algoritmos seminuméricos), 3.ª edición, Addison Wesley, Reading Mass, 1998.
  20. ^ Marozzi, Marco (2009). "Algunas notas sobre la prueba de Cucconi a escala de localización". Journal of Nonparametric Statistics . 21 (5): 629–647. doi :10.1080/10485250902952435. S2CID  120038970.
  21. ^ Marozzi, Marco (2013). "Pruebas simultáneas no paramétricas para pruebas de localización y escala: una comparación de varios métodos". Communications in Statistics – Simulation and Computation . 42 (6): 1298–1317. doi :10.1080/03610918.2012.665546. S2CID  28146102.
  22. ^ Monge, Marco (2023). "Pruebas de Kolmogorov-Smirnov de dos muestras como pruebas de causalidad. Una narrativa de la inflación latinoamericana de 2020 a 2022". 17 (1): 68–78. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  23. ^ Justel, A. ; Peña, D.; Zamar, R. (1997). "Una prueba multivariada de Kolmogorov–Smirnov de bondad de ajuste". Statistics & Probability Letters . 35 (3): 251–259. CiteSeerX 10.1.1.498.7631 . doi :10.1016/S0167-7152(97)00020-5. 
  24. ^ Peacock JA (1983). "Pruebas de bondad de ajuste bidimensional en astronomía". Monthly Notices of the Royal Astronomical Society . 202 (3): 615–627. Bibcode :1983MNRAS.202..615P. doi : 10.1093/mnras/202.3.615 .
  25. ^ Gosset E. (1987). "Una prueba de Kolmogorov-Smirnov extendida tridimensional como herramienta útil en astronomía". Astronomía y Astrofísica . 188 (1): 258–264. Código Bibliográfico :1987A&A...188..258G.
  26. ^ Fasano, G.; Franceschini, A. (1987). "Una versión multidimensional de la prueba de Kolmogorov–Smirnov". Monthly Notices of the Royal Astronomical Society . 225 : 155–170. Bibcode :1987MNRAS.225..155F. doi : 10.1093/mnras/225.1.155 . ISSN  0035-8711.
  27. ^ Lopes, RHC; Reid, I.; Hobson, PR (23–27 de abril de 2007). La prueba bidimensional de Kolmogorov–Smirnov (PDF) . XI Taller internacional sobre técnicas avanzadas de computación y análisis en la investigación en física. Ámsterdam, Países Bajos.
  28. ^ "scipy.stats.kstest". Manual de SciPy v1.7.1 . La comunidad de Scipy . Consultado el 26 de octubre de 2021 .
  29. ^ "Prueba de Kolmogorov-Smirnov" . Consultado el 18 de junio de 2019 .
  30. ^ "Nuevos nodos de estadísticas" . Consultado el 25 de junio de 2020 .
  31. ^ "Pruebas no paramétricas · HypothesisTests.jl".
  32. ^ "Prueba de igualdad de distribuciones de Kolmogorov-Smirnov de Ksmirnov" (PDF) . Consultado el 18 de junio de 2019 .
  33. ^ "Prueba de Kolmogorov-Smirnov para la prueba de hipótesis de normalidad" . Consultado el 18 de junio de 2019 .

Lectura adicional

Enlaces externos