stringtranslate.com

Coeficiente de correlación de rangos de Spearman

Una correlación de resultados de Spearman cuando las dos variables que se comparan están relacionadas monótonamente, incluso si su relación no es lineal. Esto significa que todos los puntos de datos con valores mayores que los de un punto de datos determinado también tendrán valores mayores . Por el contrario, esto no da una correlación de Pearson perfecta.
Cuando los datos tienen una distribución aproximadamente elíptica y no hay valores atípicos destacados, la correlación de Spearman y la correlación de Pearson dan valores similares.
La correlación de Spearman es menos sensible que la correlación de Pearson a los valores atípicos fuertes que se encuentran en los extremos de ambas muestras. Esto se debe a que ρ de Spearman limita el valor atípico al valor de su rango.

En estadística , el coeficiente de correlación de rangos de Spearman o ρ de Spearman , llamado así en honor a Charles Spearman [1] y a menudo denotado por la letra griega (rho) o as , es una medida no paramétrica de correlación de rangos ( dependencia estadística entre las clasificaciones de dos variables ). Evalúa qué tan bien se puede describir la relación entre dos variables utilizando una función monótona .

La correlación de Spearman entre dos variables es igual a la correlación de Pearson entre los valores de rango de esas dos variables; mientras que la correlación de Pearson evalúa relaciones lineales, la correlación de Spearman evalúa relaciones monótonas (lineales o no). Si no hay valores de datos repetidos, se produce una correlación de Spearman perfecta de +1 o −1 cuando cada una de las variables es una función monótona perfecta de la otra.

Intuitivamente, la correlación de Spearman entre dos variables será alta cuando las observaciones tengan un rango similar (o idéntico para una correlación de 1) (es decir, etiqueta de posición relativa de las observaciones dentro de la variable: 1.º, 2.º, 3.º, etc.) entre las dos. variables, y bajo cuando las observaciones tienen un rango diferente (o completamente opuesto para una correlación de −1) entre las dos variables.

El coeficiente de Spearman es apropiado tanto para variables ordinales continuas como discretas . [2] [3] Tanto el de Spearman como el de Kendall pueden formularse como casos especiales de un coeficiente de correlación más general .

Aplicaciones

El coeficiente se puede utilizar para determinar qué tan bien se ajustan los datos a un modelo, [4] o para determinar la similitud de documentos de texto. [5]

Definición y cálculo

El coeficiente de correlación de Spearman se define como el coeficiente de correlación de Pearson entre las variables de rango . [6]

Para una muestra de tamaño n , las n puntuaciones brutas se convierten en rangos y se calculan como

dónde

denota el coeficiente de correlación de Pearson habitual , pero aplicado a las variables de rango,
es la covarianza de las variables de rango,
y son las desviaciones estándar de las variables de rango.

Sólo si todos los n rangos son números enteros distintos , se puede calcular usando la fórmula popular

dónde

es la diferencia entre los dos rangos de cada observación,
N es el numero de observaciones.
[Prueba]

Considere una muestra bivariada con rangos correspondientes . Entonces el coeficiente de correlación de Spearman es

donde, como de costumbre, , , , y ,

Demostraremos que se puede expresar puramente en términos de , siempre que supongamos que no hay vínculos dentro de cada muestra.

Bajo este supuesto, tenemos que pueden verse como variables aleatorias distribuidas como una variable aleatoria distribuida uniformemente, , en . Por lo tanto y , dónde , y así . (Estas sumas se pueden calcular usando las fórmulas para el número triangular y el número piramidal cuadrado , o resultados de sumas básicos de matemáticas discretas).

Observa ahora que

Poniendo todo esto junto se obtiene

A los valores idénticos generalmente se les asignan [7] rangos fraccionarios iguales al promedio de sus posiciones en el orden ascendente de los valores, lo que equivale a promediar todas las permutaciones posibles.

Si hay empates en el conjunto de datos, la fórmula simplificada anterior produce resultados incorrectos: solo si en ambas variables todos los rangos son distintos, entonces (calculado según la varianza sesgada). La primera ecuación, normalizada por la desviación estándar, se puede utilizar incluso cuando los rangos están normalizados a [0, 1] ("rangos relativos") porque es insensible tanto a la traducción como a la escala lineal.

El método simplificado tampoco debe utilizarse en los casos en que el conjunto de datos esté truncado; es decir, cuando se desea el coeficiente de correlación de Spearman para los X registros principales (ya sea por rango previo al cambio o rango posterior al cambio, o ambos), el usuario debe usar la fórmula del coeficiente de correlación de Pearson proporcionada anteriormente. [8]

Cantidades relacionadas

Hay varias otras medidas numéricas que cuantifican el grado de dependencia estadística entre pares de observaciones. El más común de ellos es el coeficiente de correlación momento-producto de Pearson , que es un método de correlación similar al rango de Spearman, que mide las relaciones "lineales" entre los números brutos en lugar de entre sus rangos.

Un nombre alternativo para la correlación de rangos de Spearman es “correlación de grados”; [9] en esto, el “rango” de una observación se reemplaza por el “grado”. En distribuciones continuas, la calificación de una observación es, por convención, siempre la mitad menor que el rango y, por lo tanto, las correlaciones de calificación y rango son las mismas en este caso. De manera más general, la “calificación” de una observación es proporcional a una estimación de la fracción de una población menor que un valor dado, con el ajuste de la mitad de la observación en los valores observados. Por tanto, esto corresponde a un posible tratamiento de las filas empatadas. Aunque es inusual, el término “correlación de calificaciones” todavía se utiliza. [10]

Interpretación

Correlaciones de rango de Spearman positivas y negativas

El signo de la correlación de Spearman indica la dirección de asociación entre X (la variable independiente) e Y (la variable dependiente). Si Y tiende a aumentar cuando X aumenta, el coeficiente de correlación de Spearman es positivo. Si Y tiende a disminuir cuando X aumenta, el coeficiente de correlación de Spearman es negativo. Una correlación de Spearman de cero indica que no hay tendencia para que Y aumente o disminuya cuando X aumenta. La correlación de Spearman aumenta en magnitud a medida que X e Y se acercan a ser funciones perfectamente monótonas entre sí. Cuando X e Y están perfectamente relacionados de manera monótona, el coeficiente de correlación de Spearman se vuelve 1. Una relación creciente perfectamente monótona implica que para dos pares cualesquiera de valores de datos X i , Y i y X j , Y j , que X iX j e Y iY j siempre tienen el mismo signo. Una relación decreciente perfectamente monótona implica que estas diferencias siempre tienen signos opuestos.

El coeficiente de correlación de Spearman a menudo se describe como "no paramétrico". Esto puede tener dos significados. Primero, se produce una correlación de Spearman perfecta cuando X e Y están relacionados por cualquier función monótona . Compare esto con la correlación de Pearson, que sólo da un valor perfecto cuando X e Y están relacionados por una función lineal . El otro sentido en el que la correlación de Spearman es no paramétrica es que su distribución muestral exacta se puede obtener sin necesidad de conocer (es decir, conocer los parámetros) de la distribución de probabilidad conjunta de X e Y.

Ejemplo

En este ejemplo, los datos brutos arbitrarios de la siguiente tabla se utilizan para calcular la correlación entre el coeficiente intelectual de una persona y el número de horas que pasa frente al televisor por semana [valores ficticios utilizados].

En primer lugar, evalúe . Para hacerlo, siga los siguientes pasos, reflejados en la siguiente tabla.

  1. Ordena los datos por la primera columna ( ). Cree una nueva columna y asígnele los valores clasificados 1, 2, 3, ..., n .
  2. A continuación, ordene los datos aumentados (con ) por la segunda columna ( ). Cree una cuarta columna y de manera similar asígnele los valores clasificados 1, 2, 3, ..., n .
  3. Cree una quinta columna para contener las diferencias entre las dos columnas de clasificación ( y ).
  4. Cree una columna final para contener el valor de la columna al cuadrado.

Con encontrado, agréguelos para buscar . El valor de n es 10. Estos valores ahora se pueden sustituir nuevamente en la ecuación.

dar

que se evalúa como ρ = −29/165 = −0.175757575... con un valor p = 0.627188 (usando la distribución t ).

Cuadro de los datos presentados. Se puede observar que podría haber una correlación negativa, pero que la relación no parece definitiva.

Que el valor sea cercano a cero muestra que la correlación entre el coeficiente intelectual y las horas dedicadas a ver televisión es muy baja, aunque el valor negativo sugiere que cuanto más tiempo se pasa viendo televisión menor es el coeficiente intelectual. En caso de empates en los valores originales, no se deberá utilizar esta fórmula; en cambio, el coeficiente de correlación de Pearson debe calcularse en los rangos (donde a los empates se les asignan rangos, como se describió anteriormente).

Intervalos de confianza

Los intervalos de confianza para ρ de Spearman se pueden obtener fácilmente utilizando el enfoque de probabilidad euclidiana Jackknife en de Carvalho y Marques (2012). [11] El intervalo de confianza con nivel se basa en el teorema de Wilks dado en el último artículo y viene dado por

donde es el cuantil de una distribución chi-cuadrado con un grado de libertad y son pseudovalores jackknife. Este enfoque se implementa en el paquete R SpearmanCI.

Determinando el significado

Un enfoque para probar si un valor observado de ρ es significativamente diferente de cero ( r siempre mantendrá −1 ≤ r ≤ 1 ) es calcular la probabilidad de que sea mayor o igual que el r observado , dada la hipótesis nula , mediante el uso de una prueba de permutación . Una ventaja de este enfoque es que tiene en cuenta automáticamente el número de valores de datos vinculados en la muestra y la forma en que se tratan al calcular la correlación de rango.

Otro enfoque es paralelo al uso de la transformación de Fisher en el caso del coeficiente de correlación momento-producto de Pearson. Es decir, los intervalos de confianza y las pruebas de hipótesis relacionadas con el valor poblacional ρ se pueden realizar utilizando la transformación de Fisher:

Si F ( r ) es la transformación de Fisher de r , el coeficiente de correlación de rango de Spearman de la muestra, y n es el tamaño de la muestra, entonces

es una puntuación z para r , que sigue aproximadamente una distribución normal estándar bajo la hipótesis nula de independencia estadística ( ρ = 0 ). [12] [13]

También se puede probar la significancia utilizando

que se distribuye aproximadamente como la distribución t de Student con n − 2 grados de libertad bajo la hipótesis nula . [14] Una justificación de este resultado se basa en un argumento de permutación. [15]

Una generalización del coeficiente de Spearman es útil en la situación en la que hay tres o más condiciones, se observa un número de sujetos en cada una de ellas y se predice que las observaciones tendrán un orden particular. Por ejemplo, a varios sujetos se les podrían dar tres intentos de realizar la misma tarea, y se predice que el rendimiento mejorará de un intento a otro. EB Page [16] desarrolló una prueba de la importancia de la tendencia entre condiciones en esta situación y generalmente se la conoce como prueba de tendencia de Page para alternativas ordenadas.

Análisis de correspondencia basado en ρ de Spearman

El análisis de correspondencia clásico es un método estadístico que otorga una puntuación a cada valor de dos variables nominales. De esta forma se maximiza el coeficiente de correlación de Pearson entre ellos.

Existe un equivalente de este método, llamado análisis de correspondencia de calificaciones, que maximiza la ρ de Spearman o la τ de Kendall . [17]

Aproximar la ρ de Spearman a partir de una corriente

Existen dos enfoques para aproximar el coeficiente de correlación de rango de Spearman a partir de datos de transmisión. [18] [19] El primer enfoque [18] implica engrosar la distribución conjunta de . Para valores continuos : se seleccionan puntos de corte para y respectivamente, discretizando estas variables aleatorias. Los puntos de corte predeterminados se agregan en y . Luego se construye una matriz de conteo de tamaño , denotada por , donde se almacena el número de observaciones que caen en la celda bidimensional indexada por . Para datos en tiempo real, cuando llega una nueva observación, se incrementa el elemento apropiado. Luego se puede calcular la correlación de rango de Spearman, basándose en la matriz de conteo , utilizando operaciones de álgebra lineal (Algoritmo 2 [18] ). Tenga en cuenta que para variables aleatorias discretas no es necesario ningún procedimiento de discretización. Este método es aplicable a datos de transmisión estacionaria, así como a grandes conjuntos de datos. Para datos de transmisión no estacionarios, donde el coeficiente de correlación de rango de Spearman puede cambiar con el tiempo, se puede aplicar el mismo procedimiento, pero a una ventana móvil de observaciones. Cuando se utiliza una ventana móvil, los requisitos de memoria crecen linealmente con el tamaño de ventana elegido.

El segundo enfoque para aproximar el coeficiente de correlación de rangos de Spearman a partir de datos continuos implica el uso de estimadores basados ​​en series de Hermite. [19] Estos estimadores, basados ​​en polinomios de Hermite , permiten la estimación secuencial de la función de densidad de probabilidad y la función de distribución acumulativa en casos univariados y bivariados. Los estimadores de densidad de series bivariadas de Hermite y los estimadores de función de distribución acumulativa basados ​​en series de Hermite univariadas se conectan a una versión de muestra grande del estimador de coeficiente de correlación de rangos de Spearman, para obtener un estimador de correlación de Spearman secuencial. Este estimador está expresado en términos de operaciones de álgebra lineal para eficiencia computacional (ecuación (8) y algoritmo 1 y 2 [19] ). Estos algoritmos sólo son aplicables a datos de variables aleatorias continuas, pero tienen ciertas ventajas sobre el enfoque de matriz de conteo en este entorno. La primera ventaja es una mayor precisión cuando se aplica a un gran número de observaciones. La segunda ventaja es que el coeficiente de correlación de rango de Spearman se puede calcular en flujos no estacionarios sin depender de una ventana móvil. En cambio, el estimador basado en series de Hermite utiliza un esquema de ponderación exponencial para rastrear la correlación de rango de Spearman que varía en el tiempo a partir de datos de transmisión, que tiene requisitos de memoria constantes con respecto al tamaño de ventana móvil "efectiva". Existe una implementación de software de estos algoritmos basados ​​en la serie Hermite [20] y se analiza en Implementaciones de software.

Implementaciones de software

Ver también

Referencias

  1. ^ Spearman, C. (enero de 1904). "La prueba y medida de la asociación entre dos cosas" (PDF) . La Revista Estadounidense de Psicología . 15 (1): 72-101. doi :10.2307/1412159. JSTOR  1412159.
  2. ^ Tipos de escala .
  3. ^ Lehman, Ann (2005). Jmp para estadística básica univariada y multivariada: una guía paso a paso . Cary, Carolina del Norte: SAS Press. pag. 123.ISBN 978-1-59047-576-8.
  4. ^ Real Sociedad Geográfica. "Una guía para el rango de Spearman" (PDF) .
  5. ^ Nino Arsov; Milán Dukovski; Milán Dukovski; Blagoja Evkoski (noviembre de 2019). "Una medida de similitud en datos textuales utilizando el coeficiente de correlación de rangos de Spearman".
  6. ^ Myers, Jerome L.; Bueno, Arnold D. (2003). Diseño de investigación y análisis estadístico (2ª ed.). Lorenzo Erlbaum. págs.508. ISBN 978-0-8058-4037-7.
  7. ^ Esquivar, Yadolah (2010). La enciclopedia concisa de estadística . Springer-Verlag Nueva York. pag. 502.ISBN 978-0-387-31742-7.
  8. ^ Al Jaber, Ahmed Odeh; Elayyan, Haifaa Omar (2018). Hacia la garantía de calidad y la excelencia en la educación superior . Editores del río. pag. 284.ISBN 978-87-93609-54-9.
  9. ^ Navidad, GU; Kendall, MG (1968) [1950]. Introducción a la teoría de la estadística (14ª ed.). Charles Griffin & Co. pág. 268.
  10. ^ Piantadosi, J.; Howlett, P.; Boland, J. (2007). "Hacer coincidir el coeficiente de correlación de grados mediante una cópula con máximo desorden". Revista de optimización industrial y de gestión . 3 (2): 305–312. doi : 10.3934/jimo.2007.3.305 .
  11. ^ de Carvalho, M.; Marqués, F. (2012). "Inferencia basada en la probabilidad euclidiana Jackknife para rho de Spearman" (PDF) . Revista Actuarial de América del Norte . 16 (4): 487‒492. doi :10.1080/10920277.2012.10597644. S2CID  55046385.
  12. ^ Choi, Carolina del Sur (1977). "Pruebas de igualdad de coeficientes de correlación dependientes". Biometrika . 64 (3): 645–647. doi :10.1093/biomet/64.3.645.
  13. ^ Fieller, E. C.; Hartley, H. O.; Pearson, E. S. (1957). "Tests for rank correlation coefficients. I". Biometrika. 44 (3–4): 470–481. CiteSeerX 10.1.1.474.9634. doi:10.1093/biomet/44.3-4.470.
  14. ^ Press; Vettering; Teukolsky; Flannery (1992). Numerical Recipes in C: The Art of Scientific Computing (2nd ed.). Cambridge University Press. p. 640. ISBN 9780521437202.
  15. ^ Kendall, M. G.; Stuart, A. (1973). "Sections 31.19, 31.21". The Advanced Theory of Statistics, Volume 2: Inference and Relationship. Griffin. ISBN 978-0-85264-215-3.
  16. ^ Page, E. B. (1963). "Ordered hypotheses for multiple treatments: A significance test for linear ranks". Journal of the American Statistical Association. 58 (301): 216–230. doi:10.2307/2282965. JSTOR 2282965.
  17. ^ Kowalczyk, T.; Pleszczyńska, E.; Ruland, F., eds. (2004). Grade Models and Methods for Data Analysis with Applications for the Analysis of Data Populations. Studies in Fuzziness and Soft Computing. Vol. 151. Berlin Heidelberg New York: Springer Verlag. ISBN 978-3-540-21120-4.
  18. ^ a b c Xiao, W. (2019). "Novel Online Algorithms for Nonparametric Correlations with Application to Analyze Sensor Data". 2019 IEEE International Conference on Big Data (Big Data). pp. 404–412. doi:10.1109/BigData47090.2019.9006483. ISBN 978-1-7281-0858-2. S2CID 211298570.
  19. ^ a b c Stephanou, Michael; Varughese, Melvin (July 2021). "Sequential estimation of Spearman rank correlation using Hermite series estimators". Journal of Multivariate Analysis. 186: 104783. arXiv:2012.06287. doi:10.1016/j.jmva.2021.104783. S2CID 235742634.
  20. ^ a b Stephanou, M. and Varughese, M (2023). "Hermiter: R package for sequential nonparametric estimation". Computational Statistics. arXiv:2111.14091. doi:10.1007/s00180-023-01382-0. S2CID 244715035.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  21. ^ "Linear or rank correlation - MATLAB corr". www.mathworks.com.

Further reading

enlaces externos