En estadística , la prueba de Kolmogorov-Smirnov ( prueba K-S o prueba KS ) es una prueba no paramétrica de la igualdad de distribuciones de probabilidad unidimensionales continuas (o discontinuas, consulte la Sección 2.2) que se pueden usar para probar si una muestra vino . a partir de una distribución de probabilidad de referencia dada (prueba K-S de una muestra), o para probar si dos muestras provienen de la misma distribución (prueba K-S de dos muestras). Intuitivamente, la prueba proporciona un método para responder cualitativamente a la pregunta "¿Qué probabilidad hay de que veamos una colección de muestras como esta si se extrajeran de esa distribución de probabilidad?" o, en el segundo caso, "¿Qué probabilidad hay de que veamos dos conjuntos de muestras como ésta si se extrajeran de la misma distribución de probabilidad (pero desconocida)?". Lleva el nombre de Andrey Kolmogorov y Nikolai Smirnov .
El estadístico de Kolmogorov-Smirnov cuantifica una distancia entre la función de distribución empírica de la muestra y la función de distribución acumulativa de la distribución de referencia, o entre las funciones de distribución empírica de dos muestras. La distribución nula de esta estadística se calcula bajo la hipótesis nula de que la muestra se extrae de la distribución de referencia (en el caso de una muestra) o que las muestras se extraen de la misma distribución (en el caso de dos muestras). En el caso de una muestra, la distribución considerada bajo la hipótesis nula puede ser continua (ver Sección 2), puramente discreta o mixta (ver Sección 2.2). En el caso de dos muestras (ver Sección 3), la distribución considerada bajo la hipótesis nula es una distribución continua pero por lo demás no tiene restricciones. Sin embargo, la prueba de dos muestras también se puede realizar en condiciones más generales que permitan la discontinuidad, la heterogeneidad y la dependencia entre muestras. [1]
La prueba K-S de dos muestras es uno de los métodos no paramétricos más útiles y generales para comparar dos muestras, ya que es sensible a las diferencias tanto en la ubicación como en la forma de las funciones empíricas de distribución acumulativa de las dos muestras.
La prueba de Kolmogorov-Smirnov se puede modificar para que sirva como prueba de bondad de ajuste . En el caso especial de probar la normalidad de la distribución, las muestras se estandarizan y se comparan con una distribución normal estándar. Esto equivale a establecer la media y la varianza de la distribución de referencia iguales a las estimaciones de la muestra, y se sabe que usarlas para definir la distribución de referencia específica cambia la distribución nula del estadístico de prueba (consulte Prueba con parámetros estimados). Varios estudios han encontrado que, incluso en esta forma corregida, la prueba es menos potente para comprobar la normalidad que la prueba de Shapiro-Wilk o la prueba de Anderson-Darling . [2] Sin embargo, estas otras pruebas tienen sus propias desventajas. Por ejemplo, se sabe que la prueba de Shapiro-Wilk no funciona bien en muestras con muchos valores idénticos.
La función de distribución empírica F n para n observaciones ordenadas X i independientes e idénticamente distribuidas (iid) se define como
El estadístico de Kolmogorov-Smirnov para una función de distribución acumulativa dada F ( x ) es
donde sup x es el supremo del conjunto de distancias. Intuitivamente, la estadística toma la diferencia absoluta más grande entre las dos funciones de distribución en todos los valores de x .
Según el teorema de Glivenko-Cantelli , si la muestra proviene de la distribución F ( x ), entonces D n converge a 0 casi con seguridad en el límite cuando va al infinito. Kolmogorov fortaleció este resultado al proporcionar efectivamente la tasa de esta convergencia (ver distribución de Kolmogorov). El teorema de Donsker proporciona un resultado aún más sólido.
En la práctica, la estadística requiere una cantidad relativamente grande de puntos de datos (en comparación con otros criterios de bondad de ajuste, como la estadística de prueba de Anderson-Darling ) para rechazar adecuadamente la hipótesis nula.
La distribución de Kolmogorov es la distribución de la variable aleatoria.
donde B ( t ) es el puente browniano . La función de distribución acumulativa de K viene dada por [3]
que también puede expresarse mediante la función theta de Jacobi . Tanto la forma del estadístico de prueba de Kolmogorov-Smirnov como su distribución asintótica bajo la hipótesis nula fueron publicadas por Andrey Kolmogorov , [4] mientras que Nikolai Smirnov publicó una tabla de distribución . [5] Están disponibles relaciones de recurrencia para la distribución del estadístico de prueba en muestras finitas. [4]
Bajo la hipótesis nula de que la muestra proviene de la distribución hipotética F ( x ),
en distribución , donde B ( t ) es el puente browniano. Si F es continua entonces, bajo la hipótesis nula, converge a la distribución de Kolmogorov, que no depende de F. Este resultado también puede conocerse como teorema de Kolmogorov.
La precisión de este límite como aproximación a la CDF exacta de cuando es finita no es muy impresionante: incluso cuando , el error máximo correspondiente es aproximadamente ; este error aumenta hasta el cuando y hasta un cuando totalmente inaceptable . Sin embargo, un recurso muy simple de reemplazar por
en el argumento de la función theta de Jacobi reduce estos errores a , y respectivamente; dicha precisión normalmente se consideraría más que adecuada para todas las aplicaciones prácticas. [6]
La prueba de bondad de ajuste o la prueba de Kolmogorov-Smirnov se puede construir utilizando los valores críticos de la distribución de Kolmogorov. Esta prueba es asintóticamente válida cuando rechaza la hipótesis nula al nivel si
donde se encuentra K α
El poder asintótico de esta prueba es 1.
Los algoritmos rápidos y precisos para calcular la CDF o su complemento para arbitrario y están disponibles en:
Si la forma o los parámetros de F ( x ) se determinan a partir de los datos X i, los valores críticos determinados de esta manera no son válidos. En tales casos, es posible que se requiera Monte Carlo u otros métodos, pero se han preparado tablas para algunos casos. Se han publicado detalles de las modificaciones requeridas a la estadística de prueba y de los valores críticos para la distribución normal y la distribución exponencial , [11] y publicaciones posteriores también incluyen la distribución de Gumbel . [12] La prueba de Lilliefors representa un caso especial de esto para la distribución normal. La transformación logarítmica puede ayudar a superar los casos en los que los datos de la prueba de Kolmogorov no parecen ajustarse al supuesto de que provienen de la distribución normal.
Al utilizar parámetros estimados, surge la pregunta de qué método de estimación se debe utilizar. Normalmente, este sería el método de máxima verosimilitud , pero, por ejemplo, para la distribución normal, MLE tiene un gran error de sesgo en sigma. En su lugar, utilizar un ajuste de momento o una minimización de KS tiene un gran impacto en los valores críticos y también cierto impacto en la potencia de la prueba. Si necesitamos decidir para datos T de Student con gl = 2 mediante la prueba KS si los datos podrían ser normales o no, entonces una estimación ML basada en H 0 (los datos son normales, por lo que usar la desviación estándar para la escala) daría mucho. distancia KS mayor que un ajuste con KS mínimo. En este caso deberíamos rechazar H 0 , lo que suele ser el caso con MLE, porque la desviación estándar de la muestra puede ser muy grande para los datos T-2, pero con la minimización de KS podemos obtener todavía un KS demasiado bajo para rechazar H 0 . En el caso Student-T, una prueba KS modificada con una estimación de KS en lugar de MLE hace que la prueba KS sea ligeramente peor. Sin embargo, en otros casos, una prueba KS modificada de este tipo conduce a una potencia de prueba ligeramente mejor. [ cita necesaria ]
Bajo el supuesto de que no es decreciente y es continuo por la derecha, con un número contable (posiblemente infinito) de saltos, el estadístico de la prueba KS se puede expresar como:
De la continuidad por la derecha de , se deduce que y y por tanto, la distribución de depende de la distribución nula , es decir, ya no está libre de distribución como en el caso continuo. Por lo tanto, se ha desarrollado un método rápido y preciso para calcular la distribución exacta y asintótica de cuando es puramente discreta o mixta, [9] implementado en C++ y en el paquete KSgeneral [10] del lenguaje R. Las funciones y calculan también el estadístico de prueba KS y los valores p para distribuciones nulas puramente discretas, mixtas o continuas y tamaños de muestra arbitrarios . La prueba KS y sus valores p para distribuciones nulas discretas y tamaños de muestra pequeños también se calculan en [13] como parte del paquete dgof del lenguaje R. Los principales paquetes estadísticos entre los que se encuentran SAS , [14] Stata [15] implementan la prueba KS bajo el supuesto de que es continua, lo cual es más conservador si la distribución nula en realidad no es continua (ver [16] [17] [18] ).disc_ks_test()
mixed_ks_test()
cont_ks_test()
PROC NPAR1WAY
ksmirnov
La prueba de Kolmogorov-Smirnov también se puede utilizar para comprobar si dos distribuciones de probabilidad unidimensionales subyacentes difieren. En este caso, el estadístico Kolmogorov-Smirnov es
donde y son las funciones de distribución empírica de la primera y segunda muestra respectivamente, y es la función suprema .
Para muestras grandes, la hipótesis nula se rechaza al nivel si
Donde y son los tamaños de la primera y segunda muestra respectivamente. El valor de se proporciona en la siguiente tabla para los niveles más comunes de
y en general [19] por
para que la condición lea
Aquí, nuevamente, cuanto mayores son los tamaños de muestra, más sensible es el límite mínimo: para una proporción dada de tamaños de muestra (p. ej. ), el límite mínimo aumenta en el tamaño de cualquiera de las muestras de acuerdo con su raíz cuadrada inversa.
Tenga en cuenta que la prueba de dos muestras comprueba si las dos muestras de datos provienen de la misma distribución. Esto no especifica cuál es esa distribución común (por ejemplo, si es normal o no). Nuevamente se han publicado tablas de valores críticos. Una deficiencia de la prueba univariada de Kolmogorov-Smirnov es que no es muy potente porque está diseñada para ser sensible a todos los tipos posibles de diferencias entre dos funciones de distribución. Algunos argumentan [20] [21] que la prueba de Cucconi , originalmente propuesta para comparar simultáneamente ubicación y escala, puede ser mucho más poderosa que la prueba de Kolmogorov-Smirnov al comparar dos funciones de distribución.
Las pruebas KS de dos muestras se han aplicado en economía para detectar efectos asimétricos y estudiar experimentos naturales. [22]
Si bien la prueba de Kolmogorov-Smirnov generalmente se usa para probar si una F ( x ) dada es la distribución de probabilidad subyacente de F n ( x ), el procedimiento se puede invertir para dar límites de confianza sobre la propia F ( x ). Si se elige un valor crítico del estadístico de prueba D α tal que P( D n > D α ) = α , entonces una banda de ancho ± D α alrededor de F n ( x ) contendrá completamente F ( x ) con probabilidad 1 − α .
Justel , Peña y Zamar (1997) propusieron una prueba de bondad de ajuste multivariada de Kolmogorov-Smirnov sin distribución . [23] La prueba utiliza una estadística que se construye utilizando la transformación de Rosenblatt y se desarrolla un algoritmo para calcularla en el caso bivariado. También se presenta una prueba aproximada que se puede calcular fácilmente en cualquier dimensión.
Es necesario modificar el estadístico de la prueba de Kolmogorov-Smirnov si se va a aplicar una prueba similar a datos multivariados . Esto no es sencillo porque la diferencia máxima entre dos funciones de distribución acumulativas conjuntas generalmente no es la misma que la diferencia máxima de cualquiera de las funciones de distribución complementarias. Por lo tanto, la diferencia máxima diferirá dependiendo de cuál de las otras dos disposiciones posibles se utilice. Se podría exigir que el resultado de la prueba utilizada no dependa de la elección que se haga.
Un enfoque para generalizar la estadística de Kolmogorov-Smirnov a dimensiones superiores que satisfaga la preocupación anterior es comparar las CDF de las dos muestras con todos los ordenamientos posibles y tomar la mayor del conjunto de estadísticas KS resultantes. En d dimensiones, hay 2 d − 1 de esos ordenamientos. Una de esas variaciones se debe a Peacock [24] (ver también Gosset [25] para una versión 3D) y otra a Fasano y Franceschini [26] (ver Lopes et al. para una comparación y detalles computacionales). [27] Los valores críticos para el estadístico de prueba se pueden obtener mediante simulaciones, pero dependen de la estructura de dependencia en la distribución conjunta.
En una dimensión, la estadística de Kolmogorov-Smirnov es idéntica a la llamada discrepancia de estrellas D, por lo que otra extensión nativa de KS a dimensiones superiores sería simplemente usar D también para dimensiones superiores. Desafortunadamente, la discrepancia de estrellas es difícil de calcular en dimensiones grandes.
En 2021 se propuso la forma funcional del estadístico de prueba KS multivariado, que simplificó el problema de estimar las probabilidades de cola del estadístico de prueba KS multivariado, que es necesario para la prueba estadística. Para el caso multivariado, si F i es el i ésimo marginal continuo de una distribución de probabilidad con k variables, entonces
entonces la distribución límite no depende de las distribuciones marginales. [1]
La prueba de Kolmogorov-Smirnov se implementa en muchos programas de software. La mayoría de ellos implementan la prueba de una y dos muestras.
{{cite journal}}
: Citar diario requiere |journal=
( ayuda )