Distribución inversa de Wishart

Distribución de probabilidad

En estadística , la distribución Wishart inversa , también llamada distribución Wishart invertida , es una distribución de probabilidad definida sobre matrices definidas positivas de valor real . En estadística bayesiana se utiliza como conjugado previo para la matriz de covarianza de una distribución normal multivariada .

Decimos que sigue una distribución Wishart inversa, denotada como , si su inversa tiene una distribución Wishart . Se han derivado identidades importantes para la distribución inversa de Wishart. ^[2] ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} \sim {\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )}$ ${\displaystyle \mathbf {X} ^{-1}}$ ${\displaystyle {\mathcal {W}}(\mathbf {\Psi } ^{-1},\nu )}$

Densidad

La función de densidad de probabilidad del Wishart inverso es: ^[3]

${\displaystyle f_{\mathbf {X} }({\mathbf {X} };{\mathbf {\Psi } },\nu )={\frac {\left|{\mathbf {\Psi } }\right|^{\nu /2}}{2^{\nu p/2}\Gamma _{p}({\frac {\nu }{2}})}}\left|\mathbf {X} \right|^{-(\nu +p+1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\mathbf {\Psi } \mathbf {X} ^{-1})}}$

donde y son matrices definidas positivas , es el determinante, y Γ _p (·) es la función gamma multivariada . ${\displaystyle \mathbf {X} }$ ${\displaystyle {\mathbf {\Psi } }}$ ${\displaystyle p\times p}$ ${\displaystyle |\cdot |}$

Teoremas

Distribución de la inversa de una matriz distribuida por Wishart

Si y es de tamaño , entonces tiene una distribución Wishart inversa . ^[4] ${\displaystyle {\mathbf {X} }\sim {\mathcal {W}}({\mathbf {\Sigma } },\nu )}$ ${\displaystyle {\mathbf {\Sigma } }}$ ${\displaystyle p\times p}$ ${\displaystyle \mathbf {A} ={\mathbf {X} }^{-1}}$ ${\displaystyle \mathbf {A} \sim {\mathcal {W}}^{-1}({\mathbf {\Sigma } }^{-1},\nu )}$

Distribuciones marginales y condicionales de una matriz inversa distribuida por Wishart

Supongamos que tiene una distribución Wishart inversa. Dividir las matrices y de manera conforme entre sí. ${\displaystyle {\mathbf {A} }\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } },\nu )}$ ${\displaystyle {\mathbf {A} }}$ ${\displaystyle {\mathbf {\Psi } }}$

${\displaystyle {\mathbf {A} }={\begin{bmatrix}\mathbf {A} _{11}&\mathbf {A} _{12}\\\mathbf {A} _{21}&\mathbf {A} _{22}\end{bmatrix}},\;{\mathbf {\Psi } }={\begin{bmatrix}\mathbf {\Psi } _{11}&\mathbf {\Psi } _{12}\\\mathbf {\Psi } _{21}&\mathbf {\Psi } _{22}\end{bmatrix}}}$

donde y son matrices, entonces tenemos ${\displaystyle {\mathbf {A} _{ij}}}$ ${\displaystyle {\mathbf {\Psi } _{ij}}}$ ${\displaystyle p_{i}\times p_{j}}$

1. ${\displaystyle \mathbf {A} _{11}}$es independiente de y , donde es el complemento de Schur de in ; ${\displaystyle \mathbf {A} _{11}^{-1}\mathbf {A} _{12}}$ ${\displaystyle {\mathbf {A} }_{22\cdot 1}}$ ${\displaystyle {\mathbf {A} _{22\cdot 1}}={\mathbf {A} }_{22}-{\mathbf {A} }_{21}{\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}}$ ${\displaystyle {\mathbf {A} _{11}}}$ ${\displaystyle {\mathbf {A} }}$
2. ${\displaystyle {\mathbf {A} _{11}}\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } _{11}},\nu -p_{2})}$;
3. ${\displaystyle {\mathbf {A} }_{11}^{-1}{\mathbf {A} }_{12}\mid {\mathbf {A} }_{22\cdot 1}\sim MN_{p_{1}\times p_{2}}({\mathbf {\Psi } }_{11}^{-1}{\mathbf {\Psi } }_{12},{\mathbf {A} }_{22\cdot 1}\otimes {\mathbf {\Psi } }_{11}^{-1})}$, donde es una distribución normal matricial ; ${\displaystyle MN_{p\times q}(\cdot ,\cdot )}$
4. ${\displaystyle {\mathbf {A} }_{22\cdot 1}\sim {\mathcal {W}}^{-1}({\mathbf {\Psi } }_{22\cdot 1},\nu )}$, dónde ; ${\displaystyle {\mathbf {\Psi } _{22\cdot 1}}={\mathbf {\Psi } }_{22}-{\mathbf {\Psi } }_{21}{\mathbf {\Psi } }_{11}^{-1}{\mathbf {\Psi } }_{12}}$

Distribución conjugada

Supongamos que deseamos hacer inferencias sobre una matriz de covarianza cuyo a priori tiene una distribución. Si las observaciones son variables gaussianas independientes p-variadas extraídas de una distribución, entonces la distribución condicional tiene una distribución, donde . ${\displaystyle {\mathbf {\Sigma } }}$ ${\displaystyle {p(\mathbf {\Sigma } )}}$ ${\displaystyle {\mathcal {W}}^{-1}({\mathbf {\Psi } },\nu )}$ ${\displaystyle \mathbf {X} =[\mathbf {x} _{1},\ldots ,\mathbf {x} _{n}]}$ ${\displaystyle N(\mathbf {0} ,{\mathbf {\Sigma } })}$ ${\displaystyle {p(\mathbf {\Sigma } \mid \mathbf {X} )}}$ ${\displaystyle {\mathcal {W}}^{-1}({\mathbf {A} }+{\mathbf {\Psi } },n+\nu )}$ ${\displaystyle {\mathbf {A} }=\mathbf {X} \mathbf {X} ^{T}}$

Debido a que las distribuciones anterior y posterior son la misma familia, decimos que la distribución de Wishart inversa es conjugada con la gaussiana multivariada.

Debido a su conjugación con el gaussiano multivariado, es posible marginar ( integrar) el parámetro gaussiano , utilizando la fórmula y la identidad del álgebra lineal : ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle p(x)={\frac {p(x|\Sigma )p(\Sigma )}{p(\Sigma |x)}}}$ ${\displaystyle v^{T}\Omega v={\text{tr}}(\Omega vv^{T})}$

${\displaystyle f_{\mathbf {X} \,\mid \,\Psi ,\nu }(\mathbf {x} )=\int f_{\mathbf {X} \,\mid \,\mathbf {\Sigma } \,=\,\sigma }(\mathbf {x} )f_{\mathbf {\Sigma } \,\mid \,\mathbf {\Psi } ,\nu }(\sigma )\,d\sigma ={\frac {|\mathbf {\Psi } |^{\nu /2}\Gamma _{p}\left({\frac {\nu +n}{2}}\right)}{\pi ^{np/2}|\mathbf {\Psi } +\mathbf {A} |^{(\nu +n)/2}\Gamma _{p}({\frac {\nu }{2}})}}}$

(Esto es útil porque la matriz de varianza no se conoce en la práctica, pero como se conoce a priori y se puede obtener de los datos, el lado derecho se puede evaluar directamente). La distribución inversa de Wishart como a priori se puede construir a partir del conocimiento previo transferido existente . ^[5] ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle {\mathbf {\Psi } }}$ ${\displaystyle {\mathbf {A} }}$

Momentos

Lo siguiente está basado en Press, SJ (1982) "Applied Multivariate Analysis", 2ª ed. (Dover Publications, Nueva York), después de reparar el grado de libertad para que sea coherente con la definición de pdf anterior.

Vamos con y , para que . ${\displaystyle W\sim {\mathcal {W}}(\mathbf {\Psi } ^{-1},\nu )}$ ${\displaystyle \nu \geq p}$ ${\displaystyle X\doteq W^{-1}}$ ${\displaystyle X\sim {\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )}$

La media: ^{[4] : ​​85}

${\displaystyle \operatorname {E} (\mathbf {X} )={\frac {\mathbf {\Psi } }{\nu -p-1}}.}$

La varianza de cada elemento de : ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {Var} (x_{ij})={\frac {(\nu -p+1)\psi _{ij}^{2}+(\nu -p-1)\psi _{ii}\psi _{jj}}{(\nu -p)(\nu -p-1)^{2}(\nu -p-3)}}}$

La varianza de la diagonal usa la misma fórmula anterior con , que se simplifica a: ${\displaystyle i=j}$

${\displaystyle \operatorname {Var} (x_{ii})={\frac {2\psi _{ii}^{2}}{(\nu -p-1)^{2}(\nu -p-3)}}.}$

La covarianza de elementos de está dada por: ${\displaystyle \mathbf {X} }$

${\displaystyle \operatorname {Cov} (x_{ij},x_{k\ell })={\frac {2\psi _{ij}\psi _{k\ell }+(\nu -p-1)(\psi _{ik}\psi _{j\ell }+\psi _{i\ell }\psi _{kj})}{(\nu -p)(\nu -p-1)^{2}(\nu -p-3)}}}$

Los mismos resultados se expresan en forma de producto de Kronecker por von Rosen ^[6] de la siguiente manera:

${\displaystyle {\begin{aligned}\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)&=c_{1}\Psi \otimes \Psi +c_{2}Vec(\Psi )Vec(\Psi )^{T}+c_{2}K_{pp}\Psi \otimes \Psi \\\mathbf {Cov} _{\otimes }\left(W^{-1},W^{-1}\right)&=(c_{1}-c_{3})\Psi \otimes \Psi +c_{2}Vec(\Psi )Vec(\Psi )^{T}+c_{2}K_{pp}\Psi \otimes \Psi \end{aligned}}}$

dónde

${\displaystyle {\begin{aligned}c_{2}&=\left[(\nu -p)(\nu -p-1)(\nu -p-3)\right]^{-1}\\c_{1}&=(\nu -p-2)c_{2}\\c_{3}&=(\nu -p-1)^{-2},\end{aligned}}}$

${\displaystyle K_{pp}{\text{ is a }}p^{2}\times p^{2}}$ matriz de conmutación

${\displaystyle \mathbf {Cov} _{\otimes }\left(W^{-1},W^{-1}\right)=\mathbf {E} \left(W^{-1}\otimes W^{-1}\right)-\mathbf {E} \left(W^{-1}\right)\otimes \mathbf {E} \left(W^{-1}\right).}$

Parece haber un error tipográfico en el artículo por el cual el coeficiente de se da como en lugar de , y que la expresión para el inverso del cuadrado medio de Wishart, corolario 3.1, debería decir ${\displaystyle K_{pp}\Psi \otimes \Psi }$ ${\displaystyle c_{1}}$ ${\displaystyle c_{2}}$

${\displaystyle \mathbf {E} \left[W^{-1}W^{-1}\right]=(c_{1}+c_{2})\Sigma ^{-1}\Sigma ^{-1}+c_{2}\Sigma ^{-1}\mathbf {tr} (\Sigma ^{-1}).}$

Para mostrar cómo los términos que interactúan se vuelven escasos cuando la covarianza es diagonal, introduzcamos algunos parámetros arbitrarios : ${\displaystyle \Psi =\mathbf {I} _{3\times 3}}$ ${\displaystyle u,v,w}$

${\displaystyle \mathbf {E} \left(W^{-1}\otimes W^{-1}\right)=u\Psi \otimes \Psi +v\,\mathrm {vec} (\Psi )\,\mathrm {vec} (\Psi )^{T}+wK_{pp}\Psi \otimes \Psi .}$

donde denota el operador de vectorización matricial . Entonces la segunda matriz de momentos se convierte en ${\displaystyle \mathrm {vec} }$

${\displaystyle \mathbf {E} \left(W^{-1}\otimes W^{-1}\right)={\begin{bmatrix}u+v+w&\cdot &\cdot &\cdot &v&\cdot &\cdot &\cdot &v\\\cdot &u&\cdot &w&\cdot &\cdot &\cdot &\cdot &\cdot \\\cdot &\cdot &u&\cdot &\cdot &\cdot &w&\cdot &\cdot \\\cdot &w&\cdot &u&\cdot &\cdot &\cdot &\cdot &\cdot \\v&\cdot &\cdot &\cdot &u+v+w&\cdot &\cdot &\cdot &v\\\cdot &\cdot &\cdot &\cdot &\cdot &u&\cdot &w&\cdot \\\cdot &\cdot &w&\cdot &\cdot &\cdot &u&\cdot &\cdot \\\cdot &\cdot &\cdot &\cdot &\cdot &w&\cdot &u&\cdot \\v&\cdot &\cdot &\cdot &v&\cdot &\cdot &\cdot &u+v+w\\\end{bmatrix}}}$

que es distinto de cero sólo cuando involucra las correlaciones de elementos diagonales de , todos los demás elementos no están correlacionados entre sí, aunque no necesariamente son estadísticamente independientes. Cook et al. también obtienen las variaciones del producto Wishart. ^[7] en el caso singular y, por extensión, al caso de rango completo. ${\displaystyle W^{-1}}$

Muirhead ^[8] muestra en el Teorema 3.2.5 que si se distribuye como y es un vector aleatorio, independiente de , entonces se deduce que sigue una distribución de chi cuadrado inversa . Por lo tanto, establecer la distribución marginal del elemento diagonal principal es ${\displaystyle A}$ ${\displaystyle {\mathcal {W}}_{m}(n,\Sigma )}$ ${\displaystyle V}$ ${\displaystyle A}$ ${\displaystyle {\frac {V^{T}\Sigma ^{-1}V}{V^{T}A^{-1}V}}\sim \chi _{n-m+1}^{2}}$ ${\displaystyle {\frac {V^{T}A^{-1}V}{V^{T}\Sigma ^{-1}V}}}$ ${\displaystyle V=(1,\,0,\cdots ,0)^{T}}$

${\displaystyle {\frac {[A^{-1}]_{1,1}}{[\Sigma ^{-1}]_{1,1}}}\sim {\text{Inv-}}\chi ^{2}(n-m+1)={\frac {2^{-k/2}}{\Gamma (k/2)}}x^{-k/2-1}e^{-1/(2x)},\;\;k=n-m+1}$

y al rotar el extremo se aplica un resultado similar a todos los elementos diagonales . ${\displaystyle V}$ ${\displaystyle [A^{-1}]_{i,i}}$

^{Brennan y Reed [9]} demostraron un resultado correspondiente en el caso complejo de Wishart y Shaman ^[10] demostró que el complejo inverso no correlacionado Wishart tiene una estructura estadística diagonal en la que los elementos diagonales principales están correlacionados, mientras que todos los demás elementos no están correlacionados. . ${\displaystyle {\mathcal {W_{C}}}^{-1}(\mathbf {I} ,\nu ,p)}$

Distribuciones relacionadas

• Una especialización univariada de la distribución de Wishart inversa es la distribución gamma inversa . Con (es decir, univariado) y , y la función de densidad de probabilidad de la distribución inversa de Wishart se convierte en matriz ${\displaystyle p=1}$ ${\displaystyle \alpha =\nu /2}$ ${\displaystyle \beta =\mathbf {\Psi } /2}$ ${\displaystyle x=\mathbf {X} }$

${\displaystyle p(x\mid \alpha ,\beta )={\frac {\beta ^{\alpha }\,x^{-\alpha -1}\exp(-\beta /x)}{\Gamma _{1}(\alpha )}}.}$

es decir, la distribución gamma inversa, donde está la función Gamma ordinaria . ${\displaystyle \Gamma _{1}(\cdot )}$

• La distribución inversa de Wishart es un caso especial de la distribución gamma de matriz inversa cuando el parámetro de forma y el parámetro de escala . ${\displaystyle \alpha ={\frac {\nu }{2}}}$ ${\displaystyle \beta =2}$
• Otra generalización se ha denominado distribución de Wishart inversa generalizada . Se dice que una matriz definida positiva está distribuida como si estuviera distribuida como . Aquí denota la raíz cuadrada de la matriz simétrica de , los parámetros son matrices definidas positivas y el parámetro es un escalar positivo mayor que . Tenga en cuenta que cuando es igual a una matriz identidad, . Esta distribución de Wishart inversa generalizada se ha aplicado para estimar las distribuciones de procesos autorregresivos multivariados. ^[11] ${\displaystyle {\mathcal {GW}}^{-1}}$ ${\displaystyle p\times p}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\mathcal {GW}}^{-1}(\mathbf {\Psi } ,\nu ,\mathbf {S} )}$ ${\displaystyle \mathbf {Y} =\mathbf {X} ^{1/2}\mathbf {S} ^{-1}\mathbf {X} ^{1/2}}$ ${\displaystyle {\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )}$ ${\displaystyle \mathbf {X} ^{1/2}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {\Psi } ,\mathbf {S} }$ ${\displaystyle p\times p}$ ${\displaystyle \nu }$ ${\displaystyle 2p}$ ${\displaystyle \mathbf {S} }$ ${\displaystyle {\mathcal {GW}}^{-1}(\mathbf {\Psi } ,\nu ,\mathbf {S} )={\mathcal {W}}^{-1}(\mathbf {\Psi } ,\nu )}$
• Un tipo diferente de generalización es la distribución normal-inversa de Wishart , esencialmente el producto de una distribución normal multivariada con una distribución de Wishart inversa.
• Cuando la matriz de escala es una matriz identidad, es una matriz ortogonal arbitraria, el reemplazo de por no cambia la función de probabilidad de por lo que pertenece a la familia de procesos aleatorios esféricamente invariantes (SIRP) en algún sentido. ^{[ se necesita aclaración ]} ${\displaystyle {\mathcal {\Psi }}=\mathbf {I} ,{\text{ and }}{\mathcal {\Phi }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\Phi }\mathbf {X} {\mathcal {\Phi }}^{T}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\mathcal {W}}^{-1}(\mathbf {I} ,\nu ,p)}$

Por lo tanto, un p-vector arbitrario con longitud se puede rotar hacia el vector sin cambiar la función de densidad de probabilidad de , además puede ser una matriz de permutación que intercambia elementos diagonales. De ello se deduce que los elementos diagonales de tienen una distribución chi cuadrado idénticamente inversa, aunque no son mutuamente independientes. El resultado se conoce en las estadísticas de cartera óptima, como en el Teorema 2 Corolario 1 de Bodnar et al, ^[12] donde se expresa en forma inversa . ${\displaystyle V}$ ${\displaystyle l_{2}}$ ${\displaystyle V^{T}V=1}$ ${\displaystyle \mathbf {\Phi } V=[1\;0\;0\cdots ]^{T}}$ ${\displaystyle V^{T}\mathbf {X} V}$ ${\displaystyle \mathbf {\Phi } }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle f_{x_{11}}}$ ${\displaystyle {\frac {V^{T}\mathbf {\Psi } V}{V^{T}\mathbf {X} V}}\sim \chi _{\nu -p+1}^{2}}$

• Como es el caso con la distribución Wishart, las transformaciones lineales de la distribución producen una distribución Wishart inversa modificada. Si y es una matriz de rango completo, entonces ^[13] ${\displaystyle \mathbf {X^{p\times p}} \sim {\mathcal {W}}_{p}^{-1}\left({\mathbf {\Psi } },\nu \right).}$ ${\displaystyle {\mathbf {\Theta } }}$ ${\displaystyle \mathbf {\Theta } \mathbf {X} {\mathbf {\Theta } }^{T}\sim {\mathcal {W}}_{p}^{-1}\left({\mathbf {\Theta } }{\mathbf {\Psi } }{\mathbf {\Theta } }^{T},\nu \right).}$

Ver también

• Distribución gamma de matriz inversa
• Distribución normal de la matriz
• distribución de deseos
• Distribución Wishart inversa compleja

Referencias

1. A. O'Hagan y JJ Forster (2004). Teoría avanzada de la estadística de Kendall: inferencia bayesiana . vol. 2B (2 ed.). Arnaldo. ISBN 978-0-340-80752-1.
2. Haff, LR (1979). "Una identidad para la distribución Wishart con aplicaciones". Revista de análisis multivariado . 9 (4): 531–544. doi :10.1016/0047-259x(79)90056-3.
3. Gelman, Andrés; Carlín, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (1 de noviembre de 2013). Análisis de datos bayesianos, tercera edición (3ª ed.). Boca Ratón: Chapman y Hall/CRC. ISBN 9781439840955.
4. Kanti V. Mardia , JT Kent y JM Bibby (1979). Analisis multivariable . Prensa académica . ISBN 978-0-12-471250-8.
5. Shahrokh Esfahani, Mohammad; Dougherty, Eduardo (2014). "Incorporación del conocimiento de las vías biológicas en la construcción de antecedentes para una clasificación bayesiana óptima". Transacciones IEEE sobre bioinformática y biología computacional . 11 (1): 202–218. doi :10.1109/tcbb.2013.143. PMID  26355519. S2CID  10096507.
6. Rosen, Dietrich von (1988). "Momentos para la distribución Wishart invertida". Escanear. J. Estadísticas . 15 : 97–109 - vía JSTOR.
7. Cocinero, RD; Forzani, Liliana (agosto de 2019). Cocinero, Brian (ed.). "Sobre la media y la varianza de la inversa generalizada de una matriz de Wishart singular". Revista Electrónica de Estadística . 5 . doi :10.4324/9780429344633. ISBN 9780429344633. S2CID  146200569.
8. Muirhead, Robb (1982). Aspectos de la teoría estadística multivariada . Estados Unidos: Wiley. pag. 98.ISBN _ 0-471-76985-1.
9. Brennan, LE; Reed, IS (enero de 1982). "Un algoritmo de procesamiento de señales de matriz adaptativa para comunicaciones". Transacciones IEEE sobre sistemas aeroespaciales y electrónicos . 18 (1): 120-130. Código Bib :1982ITAES..18..124B. doi :10.1109/TAES.1982.309212. S2CID  45721922.
10. Chamán, Paul (1980). "La distribución Wishart compleja invertida y su aplicación a la estimación espectral" (PDF) . Revista de análisis multivariado . 10 : 51–59. doi :10.1016/0047-259X(80)90081-0.
11. Triantafyllopoulos, K. (2011). "Estimación de covarianza en tiempo real para el modelo a nivel local". Revista de análisis de series temporales . 32 (2): 93-107. arXiv : 1311.0634 . doi :10.1111/j.1467-9892.2010.00686.x. S2CID  88512953.
12. Bodnar, T.; Mazur, S.; Podgórski, K. (enero de 2015). "Distribución singular de Wishart inversa con aplicación a la teoría de la cartera". Departamento de Estadística, Universidad de Lund . (Documentos de trabajo sobre estadística, n.º 2): 1–17.
13. Bodnar, T; Mazur, S; Podgorski, K (2015). "Distribución singular de Wishart inversa con aplicación a la teoría de la cartera". Revista de análisis multivariado . 143 : 314–326.