stringtranslate.com

distribución de deseos

En estadística , la distribución Wishart es una generalización de la distribución gamma a múltiples dimensiones. Lleva el nombre de John Wishart , quien formuló por primera vez la distribución en 1928. [1] Otros nombres incluyen conjunto Wishart (en teoría de matrices aleatorias , las distribuciones de probabilidad sobre matrices generalmente se denominan "conjuntos"), o conjunto Wishart-Laguerre (ya que su distribución de valores propios involucra polinomios de Laguerre ), o LOE, LUE, LSE (en analogía con GOE, GUE, GSE ). [2]

Es una familia de distribuciones de probabilidad definidas sobre matrices aleatorias definidas positivas y simétricas (es decir, variables aleatorias valoradas en matrices ). Estas distribuciones son de gran importancia en la estimación de matrices de covarianza en estadística multivariada . En estadística bayesiana , la distribución de Wishart es el conjugado anterior de la matriz de covarianza inversa de un vector aleatorio normal multivariado . [3]

Definición

Supongamos que G es una matriz p × n , cada columna de la cual se extrae independientemente de una distribución normal p -variada con media cero:

Entonces la distribución Wishart es la distribución de probabilidad de la matriz aleatoria p × p [4]

conocida como matriz de dispersión . Se indica que S tiene esa distribución de probabilidad escribiendo

El entero positivo n es el número de grados de libertad . A veces esto se escribe W ( V , p , n ) . Para np la matriz S es invertible con probabilidad 1 si V es invertible.

Si p = V = 1 entonces esta distribución es una distribución chi-cuadrado con n grados de libertad.

Ocurrencia

La distribución Wishart surge como la distribución de la matriz de covarianza muestral para una muestra procedente de una distribución normal multivariada . Ocurre con frecuencia en pruebas de razón de verosimilitud en análisis estadístico multivariado. También surge en la teoría espectral de matrices aleatorias [ cita necesaria ] y en el análisis bayesiano multidimensional. [5] También se encuentra en comunicaciones inalámbricas, mientras se analiza el rendimiento de los canales inalámbricos MIMO con desvanecimiento de Rayleigh . [6]

Función de densidad de probabilidad

Densidad espectral del conjunto Wishart-Laguerre con dimensiones (8, 15). Una reconstrucción de la Figura 1 de [7] .

La distribución de Wishart se puede caracterizar por su función de densidad de probabilidad de la siguiente manera:

Sea X una matriz simétrica p × p de variables aleatorias que es semidefinida positiva . Sea V una matriz definida positiva simétrica (fija) de tamaño p × p .

Entonces, si np , X tiene una distribución de Wishart con n grados de libertad si tiene la función de densidad de probabilidad

donde es el determinante de y Γ p es la función gamma multivariada definida como

La densidad anterior no es la densidad conjunta de todos los elementos de la matriz aleatoria X (tal densidad dimensional no existe debido a las restricciones de simetría ), sino más bien la densidad conjunta de elementos para (, [1] página 38). Además, la fórmula de densidad anterior se aplica solo a matrices definidas positivas; para otras matrices, la densidad es igual a cero.

Densidad espectral

La densidad de valores propios conjuntos para los valores propios de una matriz aleatoria es, [8] [9]

donde es una constante.

De hecho, la definición anterior se puede extender a cualquier real n > p − 1 . Si np − 1 , entonces Wishart ya no tiene densidad; en cambio, representa una distribución singular que toma valores en un subespacio de dimensión inferior del espacio de matrices p × p . [10]

Uso en estadísticas bayesianas

En estadística bayesiana , en el contexto de la distribución normal multivariada , la distribución Wishart es el conjugado anterior a la matriz de precisión Ω = Σ −1 , donde Σ es la matriz de covarianza. [11] : 135  [12]

Elección de parámetros

El Wishart prioritario menos informativo y adecuado se obtiene estableciendo n = p . [ cita necesaria ]

La media previa de W p ( V , n ) es n V , lo que sugiere que una elección razonable para V sería n −1 Σ 0 −1 , donde Σ 0 es una estimación previa para la matriz de covarianza.

Propiedades

Expectativa de registro

La siguiente fórmula desempeña un papel en las derivaciones variacionales de Bayes para redes Bayes que involucran la distribución Wishart. De la ecuación (2.63), [13]

¿Dónde está la función digamma multivariada (la derivada del log de la función gamma multivariada )?

varianza logarítmica

El siguiente cálculo de la varianza podría resultar útil en la estadística bayesiana:

¿Dónde está la función trigamma? Esto surge al calcular la información de Fisher de la variable aleatoria Wishart.

entropía

La entropía de información de la distribución tiene la siguiente fórmula: [11] : 693 

donde B ( V , n ) es la constante de normalización de la distribución:

Esto se puede ampliar de la siguiente manera:

entropía cruzada

La entropía cruzada de dos distribuciones Wishart con parámetros y con parámetros es

Tenga en cuenta que cuando y recuperamos la entropía.

Divergencia KL

La divergencia Kullback-Leibler de desde es

Función característica

La función característica de la distribución Wishart es

donde E[⋅] denota expectativa. (Aquí Θ es cualquier matriz con las mismas dimensiones que V , 1 indica la matriz identidad e i es una raíz cuadrada de  −1 ). [9] Interpretar correctamente esta fórmula requiere un poco de cuidado, porque las potencias complejas no enteras tienen múltiples valores ; cuando n no es un número entero, la rama correcta debe determinarse mediante continuación analítica . [14]

Teorema

Si una matriz aleatoria p × p X tiene una distribución Wishart con m grados de libertad y una matriz de varianza V (escribir ) y C es una matriz q × p de rango q , entonces [15]

Corolario 1

Si z es un vector constante p × 1 distinto de cero, entonces: [15]

En este caso, es la distribución chi-cuadrado y (tenga en cuenta que es una constante; es positiva porque V es positiva definida).

Corolario 2

Considere el caso en el que z T = (0, ..., 0, 1, 0, ..., 0) (es decir, el j -ésimo elemento es uno y todos los demás cero). Entonces el corolario 1 anterior muestra que

da la distribución marginal de cada uno de los elementos en la diagonal de la matriz.

George Seber señala que la distribución de Wishart no se denomina “distribución chi-cuadrado multivariada” porque la distribución marginal de los elementos fuera de la diagonal no es chi-cuadrado. Seber prefiere reservar el término multivariado para el caso en que todos los marginales univariados pertenecen a la misma familia. [dieciséis]

Estimador de la distribución normal multivariada

La distribución Wishart es la distribución muestral del estimador de máxima verosimilitud (MLE) de la matriz de covarianza de una distribución normal multivariada . [17] Una derivación del MLE utiliza el teorema espectral .

descomposición de Bartlett

La descomposición de Bartlett de una matriz X a partir de una distribución de Wishart p -variada con matriz de escala V yn grados de libertad es la factorización:

donde L es el factor de Cholesky de V y:

donde y n ij ~ N (0, 1) de forma independiente. [18] Esto proporciona un método útil para obtener muestras aleatorias de una distribución Wishart. [19]

Distribución marginal de elementos matriciales.

Sea V una matriz de varianza de 2 × 2 caracterizada por un coeficiente de correlación −1 < ρ < 1 y L su factor de Cholesky inferior:

Multiplicando la descomposición de Bartlett anterior, encontramos que una muestra aleatoria de la distribución Wishart 2 × 2 es

Los elementos diagonales, más evidentemente en el primer elemento, siguen la distribución χ 2 con n grados de libertad (escalada por σ 2 ) como se esperaba. El elemento fuera de la diagonal es menos familiar, pero puede identificarse como una mezcla de varianza media normal donde la densidad de mezcla es una distribución χ 2 . Por lo tanto, la densidad de probabilidad marginal correspondiente para el elemento fuera de la diagonal es la distribución de varianza gamma.

donde K ν ( z ) es la función de Bessel modificada de segundo tipo . [20] Se pueden encontrar resultados similares para dimensiones superiores, pero la interdependencia de las correlaciones fuera de la diagonal se vuelve cada vez más complicada. También es posible escribir la función generadora de momentos incluso en el caso no central (esencialmente la enésima potencia de Craig (1936) [21] ecuación 10), aunque la densidad de probabilidad se convierte en una suma infinita de funciones de Bessel.

El rango del parámetro de forma.

Se puede demostrar [22] que la distribución Wishart se puede definir si y sólo si el parámetro de forma n pertenece al conjunto

Este conjunto lleva el nombre de Gindikin, quien lo introdujo [23] en la década de 1970 en el contexto de distribuciones gamma en conos homogéneos. Sin embargo, para los nuevos parámetros en el espectro discreto del conjunto Gindikin, a saber,

la distribución Wishart correspondiente no tiene densidad de Lebesgue.

Relaciones con otras distribuciones

Ver también

Referencias

  1. ^ ab Wishart, J. (1928). "La distribución generalizada del momento del producto en muestras de una población multivariada normal". Biometrika . 20A (1–2): 32–52. doi :10.1093/biomet/20A.1-2.32. JFM  54.0565.02. JSTOR  2331939.
  2. ^ Liván, Giacomo; Novaes, Marcel; Vivo, Pierpaolo (2018), Livan, Giacomo; Novaes, Marcel; Vivo, Pierpaolo (eds.), "Classical Ensembles: Wishart-Laguerre", Introducción a las matrices aleatorias: teoría y práctica , SpringerBriefs in Mathematical Physics, Cham: Springer International Publishing, págs. 89–95, doi :10.1007/978-3 -319-70885-0_13, ISBN 978-3-319-70885-0, recuperado el 17 de mayo de 2023
  3. ^ Koop, Gary; Korobilis, Dimitris (2010). "Métodos bayesianos de series temporales multivariadas para macroeconomía empírica". Fundamentos y Tendencias en Econometría . 3 (4): 267–358. doi : 10.1561/0800000013 .
  4. ^ Gupta, Alaska; Nagar, DK (2000). Distribuciones variables de matrices . Chapman y Hall/CRC. ISBN 1584880465.
  5. ^ Gelman, Andrés (2003). Análisis de datos bayesianos (2ª ed.). Boca Ratón, Florida: Chapman & Hall. pag. 582.ISBN 158488388X. Consultado el 3 de junio de 2015 .
  6. ^ Zanella, A.; Chiani, M.; Ganar, MZ (abril de 2009). "Sobre la distribución marginal de los valores propios de las matrices Wishart" (PDF) . Transacciones IEEE sobre Comunicaciones . 57 (4): 1050-1060. doi :10.1109/TCOMM.2009.04.070143. hdl : 1721.1/66900 . S2CID  12437386.
  7. ^ Liván, Giacomo; Vivo, Pierpaolo (2011). "Momentos de conjuntos de matrices aleatorias de Wishart-Laguerre y Jacobi: aplicación al problema del transporte cuántico en cavidades caóticas". Acta Física Polonica B. 42 (5): 1081. arXiv : 1103.2638 . doi :10.5506/APhysPolB.42.1081. ISSN  0587-4254. S2CID  119599157.
  8. ^ Muirhead, Robb J. (2005). Aspectos de la teoría estadística multivariada (2ª ed.). Wiley Interciencia. ISBN 0471769851.
  9. ^ ab Anderson, TW (2003). Introducción al análisis estadístico multivariado (3ª ed.). Hoboken, Nueva Jersey: Wiley Interscience . pag. 259.ISBN 0-471-36091-0.
  10. ^ Uhlig, H. (1994). "Sobre las distribuciones Beta multivariadas de Singular Wishart y Singular". Los anales de la estadística . 22 : 395–405. doi : 10.1214/aos/1176325375 .
  11. ^ obispo abc, CM (2006). Reconocimiento de patrones y aprendizaje automático . Saltador.
  12. ^ Hoff, Peter D. (2009). Un primer curso de métodos estadísticos bayesianos . Nueva York: Springer. págs. 109-111. ISBN 978-0-387-92299-7.
  13. ^ Nguyen, Duy. "UNA INTRODUCCIÓN EN PROFUNDIDAD A LA NOTA VARIACIONAL DE BAYES" . Consultado el 15 de agosto de 2023 .
  14. ^ Mayerhofer, Eberhard (27 de enero de 2019). "Reforma de la función característica de Wishart". arXiv : 1901.09347 [matemáticas.PR].
  15. ^ ab Rao, CR (1965). Inferencia estadística lineal y sus aplicaciones . Wiley. pag. 535.
  16. ^ Seber, George AF (2004). Observaciones multivariadas . Wiley . ISBN 978-0471691211.
  17. ^ Chatfield, C.; Collins, AJ (1980). Introducción al análisis multivariado. Londres: Chapman y Hall. págs. 103-108. ISBN 0-412-16030-7.
  18. ^ Anderson, TW (2003). Introducción al análisis estadístico multivariado (3ª ed.). Hoboken, Nueva Jersey: Wiley Interscience . pag. 257.ISBN 0-471-36091-0.
  19. ^ Smith, WB; Hocking, RR (1972). "Algoritmo AS 53: Generador de variables Wishart". Revista de la Royal Statistical Society, Serie C. 21 (3): 341–345. JSTOR  2346290.
  20. ^ Pearson, Karl ; Jeffery, GB ; Elderton, Ethel M. (diciembre de 1929). "Sobre la distribución del coeficiente de momento del primer producto, en muestras extraídas de una población normal indefinidamente grande". Biometrika . 21 (1/4). Fideicomiso Biometrika: 164–201. doi :10.2307/2332556. JSTOR  2332556.
  21. ^ Craig, Cecil C. (1936). "Sobre la función de frecuencia de xy". Ana. Matemáticas. Estatista . 7 : 1–15. doi : 10.1214/aoms/1177732541 .
  22. ^ Peddada y Richards, Shyamal Das; Richards, Donald St. P. (1991). "Prueba de una conjetura de ML Eaton sobre la función característica de la distribución Wishart". Anales de probabilidad . 19 (2): 868–874. doi : 10.1214/aop/1176990455 .
  23. ^ Gindikin, SG (1975). "Funciones generalizadas invariantes en dominios homogéneos". Función. Anal. Aplica. 9 (1): 50–52. doi :10.1007/BF01078179. S2CID  123288172.
  24. ^ Dwyer, Paul S. (1967). "Algunas aplicaciones de derivadas matriciales en análisis multivariado". J.Amer. Estadístico. Asociación. 62 (318): 607–625. doi :10.1080/01621459.1967.10482934. JSTOR  2283988.

enlaces externos