Distribución normal matricial

Distribución de probabilidad

En estadística , la distribución normal matricial o distribución gaussiana matricial es una distribución de probabilidad que es una generalización de la distribución normal multivariada a variables aleatorias con valores matriciales.

Definición

La función de densidad de probabilidad para la matriz aleatoria X ( n  ×  p ) que sigue la distribución normal matricial tiene la forma: ${\displaystyle {\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

${\displaystyle p(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$

donde denota traza y M es n  ×  p , U es n  ×  n y V es p  ×  p , y la densidad se entiende como la función de densidad de probabilidad con respecto a la medida estándar de Lebesgue en , es decir: la medida correspondiente a la integración con respecto a . ${\displaystyle \mathrm {tr} }$ ${\displaystyle \mathbb {R} ^{n\times p}}$ ${\displaystyle dx_{11}dx_{21}\dots dx_{n1}dx_{12}\dots dx_{n2}\dots dx_{np}}$

La normal matricial se relaciona con la distribución normal multivariada de la siguiente manera:

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} ),}$

Si y sólo si

${\displaystyle \mathrm {vec} (\mathbf {X} )\sim {\mathcal {N}}_{np}(\mathrm {vec} (\mathbf {M} ),\mathbf {V} \otimes \mathbf {U} )}$

donde denota el producto Kronecker y denota la vectorización de . ${\displaystyle \otimes }$ ${\displaystyle \mathrm {vec} (\mathbf {M} )}$ ${\displaystyle \mathbf {M} }$

Prueba

La equivalencia entre las funciones de densidad normal matricial y multivariante anteriores se puede demostrar utilizando varias propiedades de la traza y el producto de Kronecker , como se indica a continuación. Empezamos con el argumento del exponente de la función de densidad normal matricial:

${\displaystyle {\begin{aligned}&\;\;\;\;-{\frac {1}{2}}{\text{tr}}\left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}{\text{vec}}\left(\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\mathbf {V} ^{-1}\right)\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}\left(\mathbf {V} ^{-1}\otimes \mathbf {U} ^{-1}\right){\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)\\&=-{\frac {1}{2}}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]^{T}\left(\mathbf {V} \otimes \mathbf {U} \right)^{-1}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]\end{aligned}}}$

que es el argumento del exponente de la función de densidad de probabilidad normal multivariante con respecto a la medida de Lebesgue en . La prueba se completa utilizando la propiedad determinante: ${\displaystyle \mathbb {R} ^{np}}$ ${\displaystyle |\mathbf {V} \otimes \mathbf {U} |=|\mathbf {V} |^{n}|\mathbf {U} |^{p}.}$

Propiedades

Si , entonces tenemos las siguientes propiedades: ^{[1] [2]} ${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

Valores esperados

La media o valor esperado es:

${\displaystyle E[\mathbf {X} ]=\mathbf {M} }$

y tenemos las siguientes expectativas de segundo orden:

${\displaystyle E[(\mathbf {X} -\mathbf {M} )(\mathbf {X} -\mathbf {M} )^{T}]=\mathbf {U} \operatorname {tr} (\mathbf {V} )}$

${\displaystyle E[(\mathbf {X} -\mathbf {M} )^{T}(\mathbf {X} -\mathbf {M} )]=\mathbf {V} \operatorname {tr} (\mathbf {U} )}$

donde denota traza . ${\displaystyle \operatorname {tr} }$

De manera más general, para matrices A , B , C dimensionadas adecuadamente :

${\displaystyle {\begin{aligned}E[\mathbf {X} \mathbf {A} \mathbf {X} ^{T}]&=\mathbf {U} \operatorname {tr} (\mathbf {A} ^{T}\mathbf {V} )+\mathbf {MAM} ^{T}\\E[\mathbf {X} ^{T}\mathbf {B} \mathbf {X} ]&=\mathbf {V} \operatorname {tr} (\mathbf {U} \mathbf {B} ^{T})+\mathbf {M} ^{T}\mathbf {BM} \\E[\mathbf {X} \mathbf {C} \mathbf {X} ]&=\mathbf {V} \mathbf {C} ^{T}\mathbf {U} +\mathbf {MCM} \end{aligned}}}$

Transformación

Transformación de transposición :

${\displaystyle \mathbf {X} ^{T}\sim {\mathcal {MN}}_{p\times n}(\mathbf {M} ^{T},\mathbf {V} ,\mathbf {U} )}$

Transformada lineal: sea D ( r -por- n ), de rango completo r ≤ n y C ( p -por- s ), de rango completo s ≤ p , entonces:

${\displaystyle \mathbf {DXC} \sim {\mathcal {MN}}_{r\times s}(\mathbf {DMC} ,\mathbf {DUD} ^{T},\mathbf {C} ^{T}\mathbf {VC} )}$

Ejemplo

Imaginemos una muestra de n variables aleatorias independientes de dimensión p distribuidas idénticamente según una distribución normal multivariada :

${\displaystyle \mathbf {Y} _{i}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}){\text{ with }}i\in \{1,\ldots ,n\}}$.

Al definir la matriz n  ×  p para la cual la fila i es , obtenemos: ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Y} _{i}}$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

donde cada fila de es igual a , es decir , es la matriz identidad n  ×  n , es decir, las filas son independientes, y . ${\displaystyle \mathbf {M} }$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle \mathbf {M} =\mathbf {1} _{n}\times {\boldsymbol {\mu }}^{T}}$ ${\displaystyle \mathbf {U} }$ ${\displaystyle \mathbf {V} ={\boldsymbol {\Sigma }}}$

Estimación de parámetros de máxima verosimilitud

Dadas k matrices, cada una de tamaño n  ×  p , denotadas , que suponemos que han sido muestreadas iid de una distribución normal matricial, la estimación de máxima verosimilitud de los parámetros se puede obtener maximizando: ${\displaystyle \mathbf {X} _{1},\mathbf {X} _{2},\ldots ,\mathbf {X} _{k}}$

${\displaystyle \prod _{i=1}^{k}{\mathcal {MN}}_{n\times p}(\mathbf {X} _{i}\mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} ).}$

La solución para la media tiene una forma cerrada, es decir

${\displaystyle \mathbf {M} ={\frac {1}{k}}\sum _{i=1}^{k}\mathbf {X} _{i}}$

pero los parámetros de covarianza no. Sin embargo, estos parámetros pueden maximizarse iterativamente poniendo a cero sus gradientes en:

${\displaystyle \mathbf {U} ={\frac {1}{kp}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )\mathbf {V} ^{-1}(\mathbf {X} _{i}-\mathbf {M} )^{T}}$

y

${\displaystyle \mathbf {V} ={\frac {1}{kn}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} _{i}-\mathbf {M} ),}$

Véase, por ejemplo, ^[3] y las referencias allí citadas. Los parámetros de covarianza no son identificables en el sentido de que para cualquier factor de escala, s > 0, tenemos:

${\displaystyle {\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,s\mathbf {U} ,{\tfrac {1}{s}}\mathbf {V} ).}$

Extraer valores de la distribución

El muestreo a partir de la distribución normal matricial es un caso especial del procedimiento de muestreo para la distribución normal multivariante . Sea una matriz n por p de np muestras independientes de la distribución normal estándar, de modo que ${\displaystyle \mathbf {X} }$

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {0} ,\mathbf {I} ,\mathbf {I} ).}$

Entonces dejalo

${\displaystyle \mathbf {Y} =\mathbf {M} +\mathbf {A} \mathbf {X} \mathbf {B} ,}$

de modo que

${\displaystyle \mathbf {Y} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {AA} ^{T},\mathbf {B} ^{T}\mathbf {B} ),}$

donde A y B pueden elegirse mediante la descomposición de Cholesky o una operación de raíz cuadrada de matriz similar.

Relación con otras distribuciones

Dawid (1981) ofrece un análisis de la relación de la distribución normal matricial con otras distribuciones, incluidas la distribución Wishart , la distribución Wishart inversa y la distribución t matricial , pero utiliza una notación diferente a la empleada aquí.

Véase también

• Distribución normal multivariante

Referencias

1. AK Gupta; DK Nagar (22 de octubre de 1999). "Capítulo 2: DISTRIBUCIÓN NORMAL DE MATRIZ VARIABLE". Distribuciones de matriz variable. CRC Press. ISBN 978-1-58488-046-2. Recuperado el 23 de mayo de 2014 .
2. Ding, Shanshan; R. Dennis Cook (2014). "PCA Y PFC DE PLIEGUE DIMENSIONAL PARA PREDICTORES CON VALOR MATRIZAL". Statistica Sinica . 24 (1): 463–492.
3. Glanz, Hunter; Carvalho, Luis (2013). "Un algoritmo de maximización de expectativas para la distribución normal matricial". arXiv : 1309.6609 [stat.ME].

• Dawid, AP (1981). "Algunas teorías de distribución de matriz variable: consideraciones de notación y una aplicación bayesiana". Biometrika . 68 (1): 265–274. doi :10.1093/biomet/68.1.265. JSTOR  2335827. MR  0614963.
• Dutilleul, P (1999). "El algoritmo MLE para la distribución normal matricial". Revista de computación estadística y simulación . 64 (2): 105–123. doi :10.1080/00949659908811970.
• Arnold, SF (1981), La teoría de modelos lineales y análisis multivariante , Nueva York: John Wiley & Sons , ISBN 0471050652