stringtranslate.com

Covarianza

El signo de la covarianza de dos variables aleatorias X e Y

La covarianza en la teoría de probabilidad y estadística es una medida de la variabilidad conjunta de dos variables aleatorias . [1]

El signo de la covarianza, por tanto, muestra la tendencia en la relación lineal entre las variables. Si los valores mayores de una variable corresponden principalmente a valores mayores de la otra variable, y lo mismo ocurre con los valores menores (es decir, las variables tienden a mostrar un comportamiento similar), la covarianza es positiva. [2] En el caso opuesto, cuando los valores mayores de una variable corresponden principalmente a valores menores de la otra (es decir, las variables tienden a mostrar un comportamiento opuesto), la covarianza es negativa. La magnitud de la covarianza es la media geométrica de las varianzas que son comunes para las dos variables aleatorias. El coeficiente de correlación normaliza la covarianza al dividirla por la media geométrica de las varianzas totales para las dos variables aleatorias.

Se debe hacer una distinción entre (1) la covarianza de dos variables aleatorias, que es un parámetro poblacional que puede verse como una propiedad de la distribución de probabilidad conjunta , y (2) la covarianza de la muestra , que además de servir como descriptor de la muestra, también sirve como valor estimado del parámetro poblacional.

Definición

Para dos variables aleatorias de valor real distribuidas conjuntamente y con segundos momentos finitos , la covarianza se define como el valor esperado (o media) del producto de sus desviaciones respecto de sus valores esperados individuales: [3] [4] : 119 

donde es el valor esperado de , también conocido como la media de . La covarianza también se denota a veces como o , en analogía con la varianza . Al usar la propiedad de linealidad de las expectativas, esto se puede simplificar al valor esperado de su producto menos el producto de sus valores esperados: pero esta ecuación es susceptible de cancelación catastrófica (ver la sección sobre cálculo numérico a continuación).

Las unidades de medida de la covarianza son las de multiplicadas por las de . Por el contrario, los coeficientes de correlación , que dependen de la covarianza, son una medida adimensional de dependencia lineal. (De hecho, los coeficientes de correlación pueden entenderse simplemente como una versión normalizada de la covarianza).

Variables aleatorias complejas

La covarianza entre dos variables aleatorias complejas se define como [4] : 119 

Observe la compleja conjugación del segundo factor en la definición.

También se puede definir una pseudocovarianza relacionada.

Variables aleatorias discretas

Si el par de variables aleatorias (reales) puede tomar los valores para , con probabilidades iguales , entonces la covarianza se puede escribir de manera equivalente en términos de las medias y como

También se puede expresar de forma equivalente, sin hacer referencia directa a las medias, como [5]

De manera más general, si hay posibles realizaciones de , es decir, pero con probabilidades posiblemente desiguales para , entonces la covarianza es

En el caso en que dos variables aleatorias discretas y tengan una distribución de probabilidad conjunta, representada por elementos correspondientes a las probabilidades conjuntas de , la covarianza se calcula utilizando una doble suma sobre los índices de la matriz:

Ejemplos

Consideremos 3 variables aleatorias independientes y dos constantes . En el caso especial, y , la covarianza entre y es simplemente la varianza de y el nombre covarianza es totalmente apropiado.

Interpretación geométrica del ejemplo de covarianza. Cada cuboide es el cuadro delimitador alineado con el eje de su punto ( x , y , f  ( x , y )), y las medias de X e Y (punto magenta). La covarianza es la suma de los volúmenes de los cuboides en el primer y tercer cuadrante (rojo) menos los del segundo y cuarto cuadrante (azul).

Supóngase que y tienen la siguiente función de masa de probabilidad conjunta , [6] en la que las seis celdas centrales dan las probabilidades conjuntas discretas de las seis realizaciones hipotéticas :

puede tomar tres valores (5, 6 y 7) mientras que puede tomar dos (8 y 9). Sus medias son y . Entonces,

Propiedades

Covarianza consigo misma

La varianza es un caso especial de la covarianza en el que las dos variables son idénticas: [4] : 121 

Covarianza de combinaciones lineales

Si , , , y son variables aleatorias de valor real y son constantes de valor real, entonces los siguientes hechos son una consecuencia de la definición de covarianza:

Para una secuencia de variables aleatorias en valores reales y constantes , tenemos

Identidad de covarianza de Hoeffding

Una identidad útil para calcular la covarianza entre dos variables aleatorias es la identidad de covarianza de Hoeffding: [7] donde es la función de distribución acumulativa conjunta del vector aleatorio y son los marginales .

Falta de correlación e independencia

Las variables aleatorias cuya covarianza es cero se denominan no correlacionadas . [4] : 121  De manera similar, los componentes de los vectores aleatorios cuya matriz de covarianza es cero en cada entrada fuera de la diagonal principal también se denominan no correlacionados.

Si y son variables aleatorias independientes , entonces su covarianza es cero. [4] : 123  [8] Esto se deduce porque bajo independencia,

Sin embargo, lo inverso no es generalmente cierto. Por ejemplo, sea uniformemente distribuido en y sea . Claramente, y no son independientes, pero

En este caso, la relación entre y es no lineal, mientras que la correlación y la covarianza son medidas de dependencia lineal entre dos variables aleatorias. Este ejemplo muestra que si dos variables aleatorias no están correlacionadas, eso no implica en general que sean independientes. Sin embargo, si dos variables se distribuyen normalmente de manera conjunta (pero no si se distribuyen normalmente de manera individual ), la falta de correlación implica independencia. [9]

y cuya covarianza es positiva se denominan correlacionadas positivamente, lo que implica si entonces probable . Por el contrario, y con covarianza negativa se denominan correlacionadas negativamente, y si entonces probable .

Relación con los productos internos

Muchas de las propiedades de la covarianza se pueden extraer de manera elegante observando que satisface propiedades similares a las de un producto interno :

  1. bilineal : para constantes y variables aleatorias
  2. simétrico:
  3. semidefinida positiva : para todas las variables aleatorias , e implica que es constante casi con seguridad .

De hecho, estas propiedades implican que la covarianza define un producto interno sobre el espacio vectorial cociente obtenido al tomar el subespacio de variables aleatorias con segundo momento finito e identificar dos cualesquiera que difieran en una constante. (Esta identificación convierte la semidefinición positiva anterior en definición positiva). Ese espacio vectorial cociente es isomorfo al subespacio de variables aleatorias con segundo momento finito y media cero; en ese subespacio, la covarianza es exactamente el producto interno L 2 de funciones de valores reales en el espacio muestral.

Como resultado, para variables aleatorias con varianza finita, la desigualdad se cumple a través de la desigualdad de Cauchy-Schwarz .

Demostración: Si , entonces se cumple trivialmente. De lo contrario, sea variable aleatoria

Entonces tenemos

Cálculo de la covarianza de la muestra

Las covarianzas de muestra entre las variables basadas en observaciones de cada una, extraídas de una población que de otro modo no sería observada, se dan mediante la matriz con las entradas

que es una estimación de la covarianza entre variable y variable .

La media de la muestra y la matriz de covarianza de la muestra son estimaciones insesgadas de la media y la matriz de covarianza del vector aleatorio , un vector cuyo elemento j es una de las variables aleatorias. La razón por la que la matriz de covarianza de la muestra tiene en el denominador en lugar de es esencialmente que la media de la población no se conoce y se reemplaza por la media de la muestra . Si se conoce la media de la población, la estimación insesgada análoga viene dada por

.

Generalizaciones

Matriz de autocovarianza de vectores aleatorios reales

Para un vector de variables aleatorias distribuidas conjuntamente con segundos momentos finitos, su matriz de autocovarianza (también conocida como matriz de varianza-covarianza o simplemente matriz de covarianza ) (también denotada por o ) se define como [10] : 335 

Sea un vector aleatorio con matriz de covarianza Σ y sea A una matriz que puede actuar sobre la izquierda. La matriz de covarianza del producto matriz-vector AX es:

Este es un resultado directo de la linealidad de la expectativa y es útil cuando se aplica una transformación lineal , como una transformación de blanqueamiento , a un vector.

Matriz de covarianza cruzada de vectores aleatorios reales

Para vectores aleatorios reales y , la matriz de covarianza cruzada es igual a [10] : 336 

donde es la transpuesta del vector (o matriz) .

El elemento -ésimo de esta matriz es igual a la covarianza entre el componente escalar i -ésimo de y el componente escalar j -ésimo de . En particular, es la transpuesta de .

Forma sesquilineal de covarianza cruzada de vectores aleatorios en un espacio de Hilbert real o complejo

De manera más general, sean y , espacios de Hilbert sobre o con antilinealidad en la primera variable, y sean variables aleatorias con valores respectivos . Entonces, la covarianza de y es la forma sesquilineal sobre (antilinealidad en la primera variable) dada por

Cálculo numérico

Cuando , la ecuación es propensa a una cancelación catastrófica si y no se calculan con exactitud y, por lo tanto, se debe evitar en programas informáticos cuando los datos no se han centrado antes. [11] En este caso, se deben preferir algoritmos numéricamente estables . [12]

Comentarios

A veces se denomina a la covarianza una medida de "dependencia lineal" entre dos variables aleatorias. Esto no significa lo mismo que en el contexto del álgebra lineal (véase dependencia lineal ). Cuando se normaliza la covarianza, se obtiene el coeficiente de correlación de Pearson , que indica la bondad del ajuste para la mejor función lineal posible que describa la relación entre las variables. En este sentido, la covarianza es un indicador lineal de dependencia.

Aplicaciones

En genética y biología molecular

La covarianza es una medida importante en biología . Ciertas secuencias de ADN se conservan más que otras entre especies y, por lo tanto, para estudiar las estructuras secundarias y terciarias de las proteínas o de las estructuras del ARN , se comparan las secuencias en especies estrechamente relacionadas. Si se encuentran cambios en la secuencia o no se encuentran cambios en absoluto en el ARN no codificante (como el microARN ), se descubre que las secuencias son necesarias para los motivos estructurales comunes, como un bucle de ARN. En genética, la covarianza sirve como base para el cálculo de la Matriz de Relación Genética (GRM) (también conocida como matriz de parentesco), lo que permite la inferencia sobre la estructura de la población a partir de una muestra sin parientes cercanos conocidos, así como la inferencia sobre la estimación de la heredabilidad de rasgos complejos.

En la teoría de la evolución y la selección natural , la ecuación de Price describe cómo cambia la frecuencia de un rasgo genético a lo largo del tiempo. La ecuación utiliza una covarianza entre un rasgo y la aptitud para dar una descripción matemática de la evolución y la selección natural. Proporciona una forma de entender los efectos que la transmisión genética y la selección natural tienen sobre la proporción de genes dentro de cada nueva generación de una población. [13] [14]

En economía financiera

Las covarianzas desempeñan un papel fundamental en la economía financiera , especialmente en la teoría de carteras moderna y en el modelo de valoración de activos de capital . Las covarianzas entre los rendimientos de varios activos se utilizan para determinar, bajo ciertos supuestos, las cantidades relativas de diferentes activos que los inversores deberían (en un análisis normativo ) o se prevé que elijan (en un análisis positivo ) mantener en un contexto de diversificación .

En la asimilación de datos meteorológicos y oceanográficos

La matriz de covarianza es importante para estimar las condiciones iniciales requeridas para ejecutar los modelos de pronóstico del tiempo, un procedimiento conocido como asimilación de datos . La "matriz de covarianza de error de pronóstico" se construye típicamente entre perturbaciones alrededor de un estado medio (ya sea una media climatológica o de conjunto). La "matriz de covarianza de error de observación" se construye para representar la magnitud de los errores de observación combinados (en la diagonal) y los errores correlacionados entre mediciones (fuera de la diagonal). Este es un ejemplo de su aplicación generalizada al filtrado de Kalman y a la estimación de estado más general para sistemas que varían con el tiempo.

En micrometeorología

La técnica de covarianza de remolinos es una técnica clave de medición atmosférica donde la covarianza entre la desviación instantánea de la velocidad del viento vertical respecto del valor medio y la desviación instantánea de la concentración de gas es la base para calcular los flujos turbulentos verticales.

En el procesamiento de señales

La matriz de covarianza se utiliza para capturar la variabilidad espectral de una señal. [15]

En estadística y procesamiento de imágenes

La matriz de covarianza se utiliza en el análisis de componentes principales para reducir la dimensionalidad de las características en el preprocesamiento de datos .

Véase también

Referencias

  1. ^ Rice, John (2007). Estadística matemática y análisis de datos . Brooks/Cole Cengage Learning. pág. 138. ISBN 9780534399429.
  2. ^ Weisstein, Eric W. "Covarianza". MundoMatemático .
  3. ^ Diccionario Oxford de Estadística, Oxford University Press, 2002, pág. 104.
  4. ^ abcde Park, Kun Il (2018). Fundamentos de probabilidad y procesos estocásticos con aplicaciones a las comunicaciones . Springer. ISBN 9783319680743.
  5. ^ Yuli Zhang; Huaiyu Wu; Lei Cheng (junio de 2012). "Algunas nuevas fórmulas de deformación sobre varianza y covarianza". Actas de la 4.ª Conferencia internacional sobre modelado, identificación y control (ICMIC2012) . págs. 987–992.
  6. ^ "Covarianza de X e Y | STAT 414/415". Universidad Estatal de Pensilvania. Archivado desde el original el 17 de agosto de 2017. Consultado el 4 de agosto de 2019 .
  7. ^ Papoulis (1991). Probabilidad, variables aleatorias y procesos estocásticos . McGraw-Hill.
  8. ^ Siegrist, Kyle. "Covarianza y correlación". Universidad de Alabama en Huntsville . Consultado el 3 de octubre de 2022 .
  9. ^ Dekking, Michel, ed. (2005). Una introducción moderna a la probabilidad y la estadística: comprender por qué y cómo . Textos de Springer sobre estadística. Londres [Heidelberg]: Springer. ISBN 978-1-85233-896-1.
  10. ^ ab Gubner, John A. (2006). Probabilidad y procesos aleatorios para ingenieros eléctricos e informáticos . Cambridge University Press. ISBN 978-0-521-86470-1.
  11. ^ Donald E. Knuth (1998). El arte de la programación informática , volumen 2: Algoritmos seminuméricos , 3.ª ed., pág. 232. Boston: Addison-Wesley.
  12. ^ Schubert, Erich; Gertz, Michael (2018). "Cálculo paralelo numéricamente estable de (co-)varianza". Actas de la 30.ª Conferencia internacional sobre gestión de bases de datos científicas y estadísticas . Bolzano-Bolzano, Italia: ACM Press. págs. 1–12. doi :10.1145/3221269.3223036. ISBN. 978-1-4503-6505-5.S2CID 49665540  .
  13. ^ Price, George (1970). "Selección y covarianza". Nature (revista) . 227 (5257): 520–521. Código Bibliográfico : 1970Natur.227..520P. doi : 10.1038/227520a0. PMID  5428476. S2CID  4264723.
  14. ^ Harman, Oren (2020). "Cuando la ciencia refleja la vida: sobre los orígenes de la ecuación de Price". Philosophical Transactions of the Royal Society B: Biological Sciences . 375 (1797). royalsocietypublishing.org: 1–7. doi : 10.1098/rstb.2019.0352 . PMC 7133509 . PMID  32146891. 
  15. ^ Sahidullah, Md.; Kinnunen, Tomi (marzo de 2016). "Características de variabilidad espectral local para la verificación del hablante". Procesamiento de señales digitales . 50 : 1–11. doi :10.1016/j.dsp.2015.10.011.