stringtranslate.com

Distribución de Wishart

En estadística , la distribución Wishart es una generalización de la distribución gamma a múltiples dimensiones. Recibe su nombre en honor a John Wishart , quien formuló por primera vez la distribución en 1928. [1] Otros nombres incluyen conjunto Wishart (en teoría de matrices aleatorias , las distribuciones de probabilidad sobre matrices se denominan habitualmente "conjuntos"), o conjunto Wishart-Laguerre (ya que su distribución de valores propios implica polinomios de Laguerre ), o LOE, LUE, LSE (en analogía con GOE, GUE, GSE ). [2]

Es una familia de distribuciones de probabilidad definidas sobre matrices aleatorias simétricas definidas positivas (es decir, variables aleatorias con valores matriciales ). Estas distribuciones son de gran importancia en la estimación de matrices de covarianza en estadística multivariante . En estadística bayesiana , la distribución Wishart es la distribución conjugada previa de la matriz de covarianza inversa de un vector aleatorio normal multivariante . [3]

Definición

Supongamos que G es una matriz p × n , cada columna de la cual se extrae independientemente de una distribución normal de p -variable con media cero:

Entonces la distribución de Wishart es la distribución de probabilidad de la matriz aleatoria p × p [4]

conocida como matriz de dispersión . Se indica que S tiene esa distribución de probabilidad escribiendo

El entero positivo n es el número de grados de libertad . A veces se escribe W ( V , p , n ) . Para np la matriz S es invertible con probabilidad 1 si V es invertible.

Si p = V = 1 , entonces esta distribución es una distribución de chi-cuadrado con n grados de libertad.

Aparición

La distribución Wishart surge como la distribución de la matriz de covarianza de la muestra para una muestra de una distribución normal multivariante . Se presenta con frecuencia en pruebas de razón de verosimilitud en análisis estadísticos multivariantes. También surge en la teoría espectral de matrices aleatorias [ cita requerida ] y en el análisis bayesiano multidimensional. [5] También se encuentra en comunicaciones inalámbricas, al analizar el rendimiento de los canales inalámbricos MIMO con desvanecimiento de Rayleigh . [6]

Función de densidad de probabilidad

Densidad espectral del conjunto Wishart-Laguerre con dimensiones (8, 15). Reconstrucción de la Figura 1 de [7] .

La distribución de Wishart se puede caracterizar por su función de densidad de probabilidad de la siguiente manera:

Sea X una matriz simétrica p × p de variables aleatorias que es semidefinida positiva . Sea V una matriz simétrica (fija) definida positiva de tamaño p × p .

Entonces, si np , X tiene una distribución de Wishart con n grados de libertad si tiene la función de densidad de probabilidad

donde es el determinante de y Γ p es la función gamma multivariada definida como

La densidad anterior no es la densidad conjunta de todos los elementos de la matriz aleatoria X (tal densidad dimensional no existe debido a las restricciones de simetría ), es más bien la densidad conjunta de elementos para (, [1] página 38). Además, la fórmula de densidad anterior se aplica solo a matrices definidas positivas; para otras matrices, la densidad es igual a cero.

Densidad espectral

La densidad de valores propios conjuntos para los valores propios de una matriz aleatoria es, [8] [9]

donde es una constante.

De hecho, la definición anterior se puede extender a cualquier valor real n > p − 1 . Si np − 1 , entonces la distribución de Wishart ya no tiene densidad; en cambio, representa una distribución singular que toma valores en un subespacio de dimensión inferior del espacio de matrices p × p . [10]

Uso en estadística bayesiana

En estadística bayesiana , en el contexto de la distribución normal multivariada , la distribución de Wishart es la conjugada antes de la matriz de precisión Ω = Σ −1 , donde Σ es la matriz de covarianza. [11] : 135  [12]

Elección de parámetros

La prior de Wishart menos informativa y adecuada se obtiene estableciendo n = p . [ cita requerida ]

Una elección común para V aprovecha el hecho de que la media de X ~ W p ( V , n ) es n V . Luego, se elige V de modo que n V sea igual a una estimación inicial para X . Por ejemplo, al estimar una matriz de precisión Σ −1 ~ W p ( V , n ) una elección razonable para V sería n −1 Σ 0 −1 , donde Σ 0 es una estimación previa para la matriz de covarianza Σ .

Propiedades

Expectativa logarítmica

La siguiente fórmula desempeña un papel en las derivaciones de Bayes variacional para redes de Bayes que involucran la distribución de Wishart. De la ecuación (2.63), [13]

donde es la función digamma multivariada (la derivada del logaritmo de la función gamma multivariada ).

Varianza logarítmica

El siguiente cálculo de varianza podría ser de ayuda en las estadísticas bayesianas:

¿Dónde está la función trigamma? Esto aparece al calcular la información de Fisher de la variable aleatoria de Wishart.

Entropía

La entropía de información de la distribución tiene la siguiente fórmula: [11] : 693 

donde B ( V , n ) es la constante normalizadora de la distribución:

Esto se puede ampliar de la siguiente manera:

Entropía cruzada

La entropía cruzada de dos distribuciones de Wishart con parámetros y con parámetros es

Nótese que cuando y recuperamos la entropía.

Divergencia KL

La divergencia de Kullback- Leibler de es

Función característica

La función característica de la distribución de Wishart es

donde E[⋅] denota expectativa. (Aquí Θ es cualquier matriz con las mismas dimensiones que V , 1 indica la matriz identidad e i es una raíz cuadrada de  −1 ). [9] Interpretar correctamente esta fórmula requiere un poco de cuidado, porque las potencias complejas no enteras son multivaluadas ; cuando n no es entero, la rama correcta debe determinarse mediante continuación analítica . [14]

Teorema

Si una matriz aleatoria p × p X tiene una distribución Wishart con m grados de libertad y matriz de varianza V — escriba — y C es una matriz q × p de rango q , entonces [15]

Corolario 1

Si z es un vector constante p × 1 distinto de cero , entonces: [15]

En este caso, la distribución es chi-cuadrado y (nótese que es una constante; es positiva porque V es definida positiva).

Corolario 2

Consideremos el caso en el que z T = (0, ..., 0, 1, 0, ..., 0) (es decir, el elemento j -ésimo es uno y todos los demás cero). Entonces, el corolario 1 anterior muestra que

da la distribución marginal de cada uno de los elementos en la diagonal de la matriz.

George Seber señala que la distribución Wishart no se denomina “distribución chi-cuadrado multivariante” porque la distribución marginal de los elementos fuera de la diagonal no es chi-cuadrado. Seber prefiere reservar el término multivariante para el caso en que todas las marginales univariadas pertenecen a la misma familia. [16]

Estimador de la distribución normal multivariante

La distribución de Wishart es la distribución de muestreo del estimador de máxima verosimilitud (MLE) de la matriz de covarianza de una distribución normal multivariada . [17] Una derivación del MLE utiliza el teorema espectral .

Descomposición de Bartlett

La descomposición de Bartlett de una matriz X a partir de una distribución Wishart de p -variable con matriz de escala V y n grados de libertad es la factorización:

donde L es el factor de Cholesky de V , y:

donde y n ij ~ N (0, 1) independientemente. [18] Esto proporciona un método útil para obtener muestras aleatorias de una distribución de Wishart. [19]

Distribución marginal de los elementos de la matriz

Sea V una matriz de varianza de 2 × 2 caracterizada por un coeficiente de correlación −1 < ρ < 1 y L su factor de Cholesky inferior:

Al multiplicar por la descomposición de Bartlett anterior, encontramos que una muestra aleatoria de la distribución Wishart 2 × 2 es

Los elementos diagonales, más evidentemente en el primer elemento, siguen la distribución χ 2 con n grados de libertad (escalados por σ 2 ) como se esperaba. El elemento fuera de la diagonal es menos conocido pero puede identificarse como una mezcla de varianza-media normal donde la densidad de mezcla es una distribución χ 2 . La densidad de probabilidad marginal correspondiente para el elemento fuera de la diagonal es, por lo tanto, la distribución de varianza-gamma.

donde K ν ( z ) es la función de Bessel modificada de segundo tipo . [20] Se pueden encontrar resultados similares para dimensiones superiores. En general, si sigue una distribución de Wishart con parámetros, , entonces para , los elementos fuera de la diagonal

. [21]

También es posible escribir la función generadora de momentos incluso en el caso no central (esencialmente la n- ésima potencia de Craig (1936) [22] ecuación 10) aunque la densidad de probabilidad se convierte en una suma infinita de funciones de Bessel.

El rango del parámetro de forma

Se puede demostrar [23] que la distribución de Wishart se puede definir si y solo si el parámetro de forma n pertenece al conjunto

Este conjunto recibe su nombre de Gindikin, quien lo introdujo [24] en la década de 1970 en el contexto de distribuciones gamma en conos homogéneos. Sin embargo, para los nuevos parámetros en el espectro discreto del conjunto de Gindikin, a saber,

La distribución Wishart correspondiente no tiene densidad de Lebesgue.

Relaciones con otras distribuciones

Véase también

Referencias

  1. ^ ab Wishart, J. (1928). "La distribución generalizada del momento del producto en muestras de una población multivariante normal". Biometrika . 20A (1–2): 32–52. doi :10.1093/biomet/20A.1-2.32. JFM  54.0565.02. JSTOR  2331939.
  2. ^ Livan, Giacomo; Novaes, Marcel; Vivo, Pierpaolo (2018), Livan, Giacomo; Novaes, Marcel; Vivo, Pierpaolo (eds.), "Conjuntos clásicos: Wishart-Laguerre", Introducción a las matrices aleatorias: teoría y práctica , SpringerBriefs in Mathematical Physics, Cham: Springer International Publishing, págs. 89–95, doi :10.1007/978-3-319-70885-0_13, ISBN 978-3-319-70885-0, consultado el 17 de mayo de 2023
  3. ^ Koop, Gary; Korobilis, Dimitris (2010). "Métodos bayesianos de series temporales multivariadas para macroeconomía empírica". Fundamentos y tendencias en econometría . 3 (4): 267–358. doi : 10.1561/0800000013 .
  4. ^ Gupta, AK; Nagar, DK (2000). Distribuciones de variables matriciales . Chapman & Hall /CRC. ISBN 1584880465.
  5. ^ Gelman, Andrew (2003). Análisis de datos bayesianos (2.ª ed.). Boca Raton, Fla.: Chapman & Hall. p. 582. ISBN 158488388X. Recuperado el 3 de junio de 2015 .
  6. ^ Zanella, A.; Chiani, M.; Win, MZ (abril de 2009). "Sobre la distribución marginal de los valores propios de las matrices de Wishart" (PDF) . IEEE Transactions on Communications . 57 (4): 1050–1060. doi :10.1109/TCOMM.2009.04.070143. hdl : 1721.1/66900 . S2CID  12437386.
  7. ^ Livan, Giacomo; Vivo, Pierpaolo (2011). "Momentos de los conjuntos de matrices aleatorias de Wishart-Laguerre y Jacobi: aplicación al problema del transporte cuántico en cavidades caóticas". Acta Physica Polonica B . 42 (5): 1081. arXiv : 1103.2638 . doi :10.5506/APhysPolB.42.1081. ISSN  0587-4254. S2CID  119599157.
  8. ^ Muirhead, Robb J. (2005). Aspectos de la teoría estadística multivariante (2.ª ed.). Wiley Interscience. ISBN 0471769851.
  9. ^ ab Anderson, TW (2003). Introducción al análisis estadístico multivariante (3.ª ed.). Hoboken, NJ: Wiley Interscience . pág. 259. ISBN 0-471-36091-0.
  10. ^ Uhlig, H. (1994). "Sobre Wishart singular y distribuciones beta multivariadas singulares". Anales de estadística . 22 : 395–405. doi : 10.1214/aos/1176325375 .
  11. ^ abc Bishop, CM (2006). Reconocimiento de patrones y aprendizaje automático . Springer.
  12. ^ Hoff, Peter D. (2009). Un primer curso sobre métodos estadísticos bayesianos . Nueva York: Springer. pp. 109-111. ISBN. 978-0-387-92299-7.
  13. ^ Nguyen, Duy. "UNA INTRODUCCIÓN EN PROFUNDIDAD A LA NOTA VARIACIONAL DE BAYES". SSRN  4541076 . Consultado el 15 de agosto de 2023 .
  14. ^ Mayerhofer, Eberhard (27 de enero de 2019). "Reforma de la función característica de Wishart". arXiv : 1901.09347 [math.PR].
  15. ^ ab Rao, CR (1965). Inferencia estadística lineal y sus aplicaciones . Wiley. pág. 535.
  16. ^ Seber, George AF (2004). Observaciones multivariadas . Wiley . ISBN. 978-0471691211.
  17. ^ Chatfield, C.; Collins, AJ (1980). Introducción al análisis multivariante. Londres: Chapman and Hall. pp. 103–108. ISBN 0-412-16030-7.
  18. ^ Anderson, TW (2003). Introducción al análisis estadístico multivariante (3.ª ed.). Hoboken, NJ: Wiley Interscience . p. 257. ISBN 0-471-36091-0.
  19. ^ Smith, WB; Hocking, RR (1972). "Algoritmo AS 53: Generador de variables de Wishart". Revista de la Royal Statistical Society, Serie C . 21 (3): 341–345. JSTOR  2346290.
  20. ^ Pearson, Karl ; Jeffery, GB ; Elderton, Ethel M. (diciembre de 1929). "Sobre la distribución del primer coeficiente de momento del producto, en muestras extraídas de una población normal indefinidamente grande". Biometrika . 21 (1/4). Biometrika Trust: 164–201. doi :10.2307/2332556. JSTOR  2332556.
  21. ^ Fischer, Adrian; Gaunt, Robert E.; Andrey, Sarantsev (2023). "La distribución de varianza-gamma: una revisión". arXiv : 2303.05615 [math.ST].
  22. ^ Craig, Cecil C. (1936). "Sobre la función de frecuencia de xy". Ann. Math. Statist . 7 : 1–15. doi : 10.1214/aoms/1177732541 .
  23. ^ Peddada y Richards, Shyamal Das; Richards, Donald St. P. (1991). "Prueba de una conjetura de ML Eaton sobre la función característica de la distribución de Wishart". Anales de probabilidad . 19 (2): 868–874. doi : 10.1214/aop/1176990455 .
  24. ^ Gindikin, SG (1975). "Funciones generalizadas invariantes en dominios homogéneos". Funct. Anal. Appl. 9 (1): 50–52. doi :10.1007/BF01078179. S2CID  123288172.
  25. ^ Dwyer, Paul S. (1967). "Algunas aplicaciones de las derivadas de matrices en el análisis multivariante". J. Amer. Statist. Assoc. 62 (318): 607–625. doi :10.1080/01621459.1967.10482934. JSTOR  2283988.

Enlaces externos