Distribución normal multivariada

Generalización de la distribución normal unidimensional a dimensiones superiores.

En teoría de probabilidad y estadística , la distribución normal multivariada , la distribución gaussiana multivariada o la distribución normal conjunta es una generalización de la distribución normal unidimensional ( univariada ) a dimensiones superiores . Una definición es que se dice que un vector aleatorio tiene k -variación con distribución normal si cada combinación lineal de sus k componentes tiene una distribución normal univariada. Su importancia deriva principalmente del teorema del límite central multivariante . La distribución normal multivariada se utiliza a menudo para describir, al menos aproximadamente, cualquier conjunto de variables aleatorias de valor real (posiblemente) correlacionadas , cada una de las cuales se agrupa alrededor de un valor medio.

Definiciones

Notación y parametrización

La distribución normal multivariada de un vector aleatorio k -dimensional se puede escribir en la siguiente notación: ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

o para hacer saber explícitamente que X es k -dimensional,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

con vector medio k -dimensional

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}])^{\mathrm {T} },}$

y matriz de covarianza ${\displaystyle k\times k}$

${\displaystyle \Sigma _{i,j}=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

tal que y . La inversa de la matriz de covarianza se llama matriz de precisión y se denota por . ${\displaystyle 1\leq i\leq k}$ ${\displaystyle 1\leq j\leq k}$ ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$

Vector aleatorio normal estándar

Un vector aleatorio real se denomina vector aleatorio normal estándar si todos sus componentes son independientes y cada uno es una variable aleatoria de varianza unitaria de media cero distribuida normalmente, es decir, si para todos . ^{[1] : pág. 454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}\sim \ {\mathcal {N}}(0,1)}$ ${\displaystyle i=1\ldots k}$

Vector aleatorio normal centrado

Un vector aleatorio real se denomina vector aleatorio normal centrado si existe una matriz determinista que tenga la misma distribución que un vector aleatorio normal estándar con componentes. ^{[1] : pág. 454} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle \ell }$

Vector aleatorio normal

Un vector aleatorio real se llama vector aleatorio normal si existe un vector aleatorio , que es un vector aleatorio normal estándar, un vector y una matriz , tal que . ^{[2] : pág. 454  [1] : pág. 455} ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ ${\displaystyle \ell }$ ${\displaystyle \mathbf {Z} }$ ${\displaystyle k}$ ${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times \ell }$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$

Formalmente:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{there exist }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ such that }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ and }}\forall n=1,\ldots ,l:Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Aquí la matriz de covarianza es . ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$

En el caso degenerado donde la matriz de covarianza es singular , la distribución correspondiente no tiene densidad; consulte la sección siguiente para obtener más detalles. Este caso surge frecuentemente en estadística ; por ejemplo, en la distribución del vector de residuos en la regresión de mínimos cuadrados ordinarios . En general no son independientes; pueden verse como el resultado de aplicar la matriz a una colección de variables gaussianas independientes . ${\displaystyle X_{i}}$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle \mathbf {Z} }$

Definiciones equivalentes

Las siguientes definiciones son equivalentes a la definición dada anteriormente. Un vector aleatorio tiene una distribución normal multivariada si satisface una de las siguientes condiciones equivalentes. ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$

• Toda combinación lineal de sus componentes tiene una distribución normal . Es decir, para cualquier vector constante , la variable aleatoria tiene una distribución normal univariada, donde una distribución normal univariada con varianza cero es una masa puntual en su media. ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$ ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$
• Hay un k -vector y una matriz semidefinida positiva simétrica , tal que la función característica de es ${\displaystyle \mathbf {\mu } }$ ${\displaystyle k\times k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \mathbf {X} }$
  $${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$$

La distribución normal esférica se puede caracterizar como la distribución única donde los componentes son independientes en cualquier sistema de coordenadas ortogonales. ^{[3] [4]}

Función de densidad

Densidad articular normal bivariada

Caso no degenerado

Se dice que la distribución normal multivariada es "no degenerada" cuando la matriz de covarianza simétrica es definida positiva . En este caso la distribución tiene densidad ^[5] ${\displaystyle {\boldsymbol {\Sigma }}}$

${\displaystyle f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}\left({\mathbf {x} }-{\boldsymbol {\mu }}\right)\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}}$

donde es un vector columna real de k dimensiones y es el determinante de , también conocido como varianza generalizada . La ecuación anterior se reduce a la de la distribución normal univariada si es una matriz (es decir, un único número real). ${\displaystyle {\mathbf {x} }}$ ${\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle 1\times 1}$

La versión circularmente simétrica de la distribución normal compleja tiene una forma ligeramente diferente.

Cada lugar geométrico de isodensidad (el lugar geométrico de los puntos en el espacio k -dimensional, cada uno de los cuales da el mismo valor particular de la densidad) es una elipse o su generalización de dimensiones superiores; por tanto, la normal multivariada es un caso especial de distribuciones elípticas .

La cantidad se conoce como distancia de Mahalanobis , que representa la distancia del punto de prueba a la media . Tenga en cuenta que en el caso en que , la distribución se reduce a una distribución normal univariada y la distancia de Mahalanobis se reduce al valor absoluto de la puntuación estándar . Consulte también Intervalo a continuación. ${\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}}$ ${\displaystyle {\mathbf {x} }}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k=1}$

Caso bivariado

En el caso bidimensional no singular ( ), la función de densidad de probabilidad de un vector es: ${\displaystyle k=\operatorname {rank} \left(\Sigma \right)=2}$ ${\displaystyle {\text{[XY]′}}}$

$${\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2\left[1-\rho ^{2}\right]}}\left[\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right]\right)}$$

correlación ${\displaystyle \rho }$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle \sigma _{X}>0}$ ${\displaystyle \sigma _{Y}>0}$

${\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.}$

En el caso bivariado, la primera condición equivalente para la reconstrucción multivariada de la normalidad puede hacerse menos restrictiva, ya que es suficiente verificar que un conjunto infinitamente numerable de combinaciones lineales distintas de y son normales para concluir que el vector de es normal bivariado. ^[6] ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\text{[XY]′}}}$

Los loci de isodensidad bivariados trazados en el plano son elipses , cuyos ejes principales están definidos por los vectores propios de la matriz de covarianza (los semidiámetros mayor y menor de la elipse son iguales a la raíz cuadrada de los valores propios ordenados). ${\displaystyle x,y}$ ${\displaystyle {\boldsymbol {\Sigma }}}$

Distribución normal bivariada centrada en con una desviación estándar de 3 aproximadamente en la dirección y de 1 en la dirección ortogonal. ${\displaystyle (1,3)}$ ${\displaystyle (0.878,0.478)}$

A medida que aumenta el valor absoluto del parámetro de correlación , estos loci se comprimen hacia la siguiente línea: ${\displaystyle \rho }$

${\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.}$

Esto se debe a que esta expresión, con (donde sgn es la función Signo ) reemplazada por , es la mejor predicción lineal insesgada de un valor dado de . ^[7] ${\displaystyle \operatorname {sgn}(\rho )}$ ${\displaystyle \rho }$ ${\displaystyle Y}$ ${\displaystyle X}$

caso degenerado

Si la matriz de covarianza no tiene rango completo, entonces la distribución normal multivariada es degenerada y no tiene densidad. Más precisamente, no tiene densidad con respecto a la medida de Lebesgue k -dimensional (que es la medida habitual que se asume en los cursos de probabilidad a nivel de cálculo). Sólo se dice que los vectores aleatorios cuyas distribuciones son absolutamente continuas con respecto a una medida tienen densidades (con respecto a esa medida). Para hablar de densidades pero evitar lidiar con complicaciones de la teoría de la medida, puede ser más sencillo restringir la atención a un subconjunto de las coordenadas de tal que la matriz de covarianza para este subconjunto sea definida positiva; entonces las otras coordenadas pueden considerarse como una función afín de estas coordenadas seleccionadas. ^[8] ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbf {x} }$

Entonces, para hablar de densidades de manera significativa en casos singulares, debemos seleccionar una medida base diferente. Usando el teorema de desintegración podemos definir una restricción de la medida de Lebesgue al subespacio afín -dimensional donde se admite la distribución gaussiana, es decir . Respecto a esta medida la distribución tiene la densidad del siguiente motivo: ${\displaystyle \operatorname {rank} ({\boldsymbol {\Sigma }})}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \left\{{\boldsymbol {\mu }}+{\boldsymbol {\Sigma ^{1/2}}}\mathbf {v} :\mathbf {v} \in \mathbb {R} ^{k}\right\}}$

${\displaystyle f(\mathbf {x} )={\frac {\exp \left(-{\frac {1}{2}}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)^{\mathrm {T} }{\boldsymbol {\Sigma }}^{+}\left(\mathbf {x} -{\boldsymbol {\mu }}\right)\right)}{\sqrt {\det \nolimits ^{*}(2\pi {\boldsymbol {\Sigma }})}}}}$

donde es el inverso generalizado y es el pseudodeterminante . ^[9] ${\displaystyle {\boldsymbol {\Sigma }}^{+}}$ ${\displaystyle \det \nolimits ^{*}}$

Función de distribución acumulativa

La noción de función de distribución acumulativa (cdf) en la dimensión 1 se puede extender de dos maneras al caso multidimensional, basado en regiones rectangulares y elipsoidales.

La primera forma es definir la CDF de un vector aleatorio como la probabilidad de que todos los componentes de sean menores o iguales a los valores correspondientes en el vector : ^[10] ${\displaystyle F(\mathbf {x} )}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {x} }$

${\displaystyle F(\mathbf {x} )=\mathbb {P} (\mathbf {X} \leq \mathbf {x} ),\quad {\text{where }}\mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}).}$

Aunque no existe una forma cerrada para , existen varios algoritmos que lo estiman numéricamente. ^{[10] [11]} ${\displaystyle F(\mathbf {x} )}$

Otra forma es definir la cdf como la probabilidad de que una muestra se encuentre dentro del elipsoide determinada por su distancia de Mahalanobis del gaussiano, una generalización directa de la desviación estándar. ^[12] Para calcular los valores de esta función, existen fórmulas analíticas cerradas, ^[12] como sigue. ${\displaystyle F(r)}$ ${\displaystyle r}$

Intervalo

El intervalo para la distribución normal multivariada produce una región que consta de aquellos vectores x que satisfacen

${\displaystyle ({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\leq \chi _{k}^{2}(p).}$

Aquí hay un vector dimensional, es el vector medio dimensional conocido, es la matriz de covarianza conocida y es la función cuantil para la probabilidad de la distribución chi-cuadrado con grados de libertad. ^[13] Cuando la expresión define el interior de una elipse y la distribución chi-cuadrado se simplifica a una distribución exponencial con media igual a dos (tasa igual a la mitad). ${\displaystyle {\mathbf {x} }}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle k}$ ${\displaystyle {\boldsymbol {\Sigma }}}$ ${\displaystyle \chi _{k}^{2}(p)}$ ${\displaystyle p}$ ${\displaystyle k}$ ${\displaystyle k=2,}$

Función de distribución acumulativa complementaria (distribución de cola)

La función de distribución acumulativa complementaria (ccdf) o distribución de cola se define como . Cuando , entonces el ccdf se puede escribir como una probabilidad del máximo de las variables gaussianas dependientes: ^[14] ${\displaystyle {\overline {F}}(\mathbf {x} )=1-\mathbb {P} \left(\mathbf {X} \leq \mathbf {x} \right)}$ ${\displaystyle \mathbf {X} \sim {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$

${\displaystyle {\overline {F}}(\mathbf {x} )=\mathbb {P} \left(\bigcup _{i}\{X_{i}\geq x_{i}\}\right)=\mathbb {P} \left(\max _{i}Y_{i}\geq 0\right),\quad {\text{where }}\mathbf {Y} \sim {\mathcal {N}}\left({\boldsymbol {\mu }}-\mathbf {x} ,\,{\boldsymbol {\Sigma }}\right).}$

Si bien no existe una fórmula cerrada simple para calcular el ccdf, el máximo de variables gaussianas dependientes se puede estimar con precisión mediante el método de Monte Carlo . ^{[14] [15]}

Propiedades

Probabilidad en diferentes dominios

Arriba: la probabilidad de una normal bivariada en el dominio (regiones azules). Medio: la probabilidad de una normal trivariada en un dominio toroidal. Abajo: integral de Monte-Carlo convergente de la probabilidad de una normal de 4 variables en el dominio poliédrico regular 4d definido por . Todos estos se calculan mediante el método numérico de trazado de rayos. ^[dieciséis] ${\displaystyle x\sin y-y\cos x>1}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert <1}$

El contenido de probabilidad de la normal multivariada en un dominio cuadrático definido por (donde es una matriz, es un vector y es un escalar), que es relevante para la teoría de clasificación/decisión bayesiana utilizando el análisis discriminante gaussiano, está dado por la chi-generalizada. distribución al cuadrado . ^[16] El contenido de probabilidad dentro de cualquier dominio general definido por (donde es una función general) se puede calcular utilizando el método numérico de trazado de rayos ^[16] (código Matlab). ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}>0}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$ ${\displaystyle f({\boldsymbol {x}})>0}$ ${\displaystyle f({\boldsymbol {x}})}$

Momentos más altos

Los momentos de orden k de x están dados por

${\displaystyle \mu _{1,\ldots ,N}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \mu _{r_{1},\ldots ,r_{N}}(\mathbf {x} )\mathrel {\stackrel {\mathrm {def} }{=}} \operatorname {E} \left[\prod _{j=1}^{N}X_{j}^{r_{j}}\right]}$

donde r ₁ + r ₂ + ⋯ + r _norte = k .

Los momentos centrales de orden k son los siguientes

1. Si k es impar, μ _{1,…, N} ( x − μ ) = 0 .
2. Si k es par con k = 2 λ , entonces ^{[ ambiguo ]}
   $${\displaystyle \mu _{1,\dots ,2\lambda }(\mathbf {x} -{\boldsymbol {\mu }})=\sum \left(\sigma _{ij}\sigma _{k\ell }\cdots \sigma _{XZ}\right)}$$

donde la suma se toma de todas las asignaciones del conjunto en λ pares (desordenados). Es decir, para un k ésimo (= 2 λ = 6) momento central, se suman los productos de λ = 3 covarianzas (el valor esperado μ se considera 0 en aras de la parsimonia): ${\displaystyle \left\{1,\ldots ,2\lambda \right\}}$

${\displaystyle {\begin{aligned}&\operatorname {E} [X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}]\\[8pt]={}&\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{2}]\operatorname {E} [X_{3}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{3}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{4}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{5}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{4}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{5}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{6}]+\operatorname {E} [X_{1}X_{5}]\operatorname {E} [X_{2}X_{6}]\operatorname {E} [X_{3}X_{4}]\\[4pt]&{}+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{3}]\operatorname {E} [X_{4}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{4}]\operatorname {E} [X_{3}X_{5}]+\operatorname {E} [X_{1}X_{6}]\operatorname {E} [X_{2}X_{5}]\operatorname {E} [X_{3}X_{4}].\end{aligned}}}$

Esto produce términos en la suma (15 en el caso anterior), siendo cada uno el producto de λ (en este caso 3) covarianzas. Para momentos de cuarto orden (cuatro variables) hay tres términos. Para momentos de sexto orden hay 3 × 5 = 15 términos, y para momentos de octavo orden hay 3 × 5 × 7 = 105 términos. ${\displaystyle {\tfrac {(2\lambda -1)!}{2^{\lambda -1}(\lambda -1)!}}}$

Luego, las covarianzas se determinan reemplazando los términos de la lista por los términos correspondientes de la lista que consta de r ₁ unos, luego r ₂ dos, etc. Para ilustrar esto, examine el siguiente caso de momento central de cuarto orden: ${\displaystyle [1,\ldots ,2\lambda ]}$

${\displaystyle {\begin{aligned}\operatorname {E} \left[X_{i}^{4}\right]&=3\sigma _{ii}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{3}X_{j}\right]&=3\sigma _{ii}\sigma _{ij}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}^{2}\right]&=\sigma _{ii}\sigma _{jj}+2\sigma _{ij}^{2}\\[4pt]\operatorname {E} \left[X_{i}^{2}X_{j}X_{k}\right]&=\sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}\\[4pt]\operatorname {E} \left[X_{i}X_{j}X_{k}X_{n}\right]&=\sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.\end{aligned}}}$

¿Dónde está la covarianza de X _i y X _j ? Con el método anterior, primero se encuentra el caso general para un k ésimo momento con k variables X diferentes , y luego se simplifica esto en consecuencia. Por ejemplo, para , se supone que X _i = X _j y se utiliza el hecho de que . ${\displaystyle \sigma _{ij}}$ ${\displaystyle E\left[X_{i}X_{j}X_{k}X_{n}\right]}$ ${\displaystyle \operatorname {E} [X_{i}^{2}X_{k}X_{n}]}$ ${\displaystyle \sigma _{ii}=\sigma _{i}^{2}}$

Funciones de un vector normal

a: Densidad de probabilidad de una función de una única variable normal con y . b: Densidad de probabilidad de una función de un vector normal , con media y covarianza . c: Mapa de calor de la densidad de probabilidad conjunta de dos funciones de un vector normal , con media y covarianza . d: Densidad de probabilidad de una función de 4 variables normales estándar iid. Estos se calculan mediante el método numérico de trazado de rayos. ^[dieciséis] ${\displaystyle \cos x^{2}}$ ${\displaystyle x}$ ${\displaystyle \mu =-2}$ ${\displaystyle \sigma =3}$ ${\displaystyle x^{y}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(1,2)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}.01&.016\\.016&.04\end{bmatrix}}}$ ${\displaystyle (x,y)}$ ${\displaystyle {\boldsymbol {\mu }}=(-2,5)}$ ${\displaystyle \mathbf {\Sigma } ={\begin{bmatrix}10&-7\\-7&10\end{bmatrix}}}$ ${\displaystyle \sum _{i=1}^{4}\vert x_{i}\vert }$

Una forma cuadrática de un vector normal ( donde es una matriz, es un vector y es un escalar), es una variable chi-cuadrado generalizada . ^[16] La dirección de un vector normal sigue una distribución normal proyectada . ^[17] ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle q({\boldsymbol {x}})={\boldsymbol {x}}'\mathbf {Q_{2}} {\boldsymbol {x}}+{\boldsymbol {q_{1}}}'{\boldsymbol {x}}+q_{0}}$ ${\displaystyle \mathbf {Q_{2}} }$ ${\displaystyle {\boldsymbol {q_{1}}}}$ ${\displaystyle q_{0}}$

Si es una función de valor escalar general de un vector normal, su función de densidad de probabilidad , su función de distribución acumulativa y su función de distribución acumulativa inversa se pueden calcular con el método numérico de trazado de rayos (código Matlab). ^[dieciséis] ${\displaystyle f({\boldsymbol {x}})}$

función de probabilidad

Si se conocen la matriz de media y covarianza, el registro de probabilidad de un vector observado es simplemente el registro de la función de densidad de probabilidad : ${\displaystyle {\boldsymbol {x}}}$

${\displaystyle \ln L({\boldsymbol {x}})=-{\frac {1}{2}}\left[\ln(|{\boldsymbol {\Sigma }}|\,)+({\boldsymbol {x}}-{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {x}}-{\boldsymbol {\mu }})+k\ln(2\pi )\right]}$,

La versión circularmente simétrica del caso complejo no central, donde es un vector de números complejos, sería ${\displaystyle {\boldsymbol {z}}}$

${\displaystyle \ln L({\boldsymbol {z}})=-\ln(|{\boldsymbol {\Sigma }}|\,)-({\boldsymbol {z}}-{\boldsymbol {\mu }})^{\dagger }{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {z}}-{\boldsymbol {\mu }})-k\ln(\pi )}$

es decir, con la transpuesta conjugada (indicada por ) reemplazando la transpuesta normal (indicada por ). Esto es ligeramente diferente que en el caso real, porque la versión circularmente simétrica de la distribución normal compleja tiene una forma ligeramente diferente para la constante de normalización . ${\displaystyle \dagger }$ ${\displaystyle '}$

Se utiliza una notación similar para la regresión lineal múltiple . ^[18]

Dado que la probabilidad logarítmica de un vector normal es una forma cuadrática del vector normal, se distribuye como una variable chi-cuadrado generalizada . ^[dieciséis]

Entropía diferencial

La entropía diferencial de la distribución normal multivariada es ^[19]

${\displaystyle {\begin{aligned}h\left(f\right)&=-\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }f(\mathbf {x} )\ln f(\mathbf {x} )\,d\mathbf {x} \\&={\frac {1}{2}}\ln {}\left|2\pi e{\boldsymbol {\Sigma }}\right|={\frac {k}{2}}+{\frac {k}{2}}\ln {}2\pi +{\frac {1}{2}}\ln {}\left|{\boldsymbol {\Sigma }}\right|\\\end{aligned}}}$,

donde las barras denotan el determinante de la matriz , k es la dimensionalidad del espacio vectorial y el resultado tiene unidades de nats .

Divergencia Kullback-Leibler

La divergencia de Kullback-Leibler de a , para matrices no singulares Σ ₁ y Σ ₀ , es: ^[20] ${\displaystyle {\mathcal {N}}_{1}({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{1})}$ ${\displaystyle {\mathcal {N}}_{0}({\boldsymbol {\mu }}_{0},{\boldsymbol {\Sigma }}_{0})}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)+\left({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0}\right)^{\rm {T}}{\boldsymbol {\Sigma }}_{1}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{0})-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\},}$

donde denota el determinante matricial , es la traza , es el logaritmo natural y es la dimensión del espacio vectorial. ${\displaystyle |\cdot |}$ ${\displaystyle tr(\cdot )}$ ${\displaystyle ln(\cdot )}$ ${\displaystyle k}$

El logaritmo debe tomarse en base e, ya que los dos términos que siguen al logaritmo son en sí mismos logaritmos en base e de expresiones que son factores de la función de densidad o que surgen de forma natural. Por tanto, la ecuación da un resultado medido en nats . Al dividir toda la expresión anterior por log _e  2 se obtiene la divergencia en bits .

Cuando , ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left\{\operatorname {tr} \left({\boldsymbol {\Sigma }}_{1}^{-1}{\boldsymbol {\Sigma }}_{0}\right)-k+\ln {|{\boldsymbol {\Sigma }}_{1}| \over |{\boldsymbol {\Sigma }}_{0}|}\right\}.}$

Información mutua

La información mutua de una distribución es un caso especial de la divergencia de Kullback-Leibler en la que es la distribución multivariada completa y es el producto de las distribuciones marginales unidimensionales. En la notación de la sección de divergencia Kullback-Leibler de este artículo, hay una matriz diagonal con las entradas diagonales de , y . La fórmula resultante para la información mutua es: ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle {\boldsymbol {\Sigma }}_{1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$ ${\displaystyle {\boldsymbol {\mu }}_{1}={\boldsymbol {\mu }}_{0}}$

${\displaystyle I({\boldsymbol {X}})=-{1 \over 2}\ln |{\boldsymbol {\rho }}_{0}|,}$

¿Dónde se construye la matriz de correlación ? ^[21] ${\displaystyle {\boldsymbol {\rho }}_{0}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{0}}$

En el caso bivariado la expresión para la información mutua es:

${\displaystyle I(x;y)=-{1 \over 2}\ln(1-\rho ^{2}).}$

Normalidad conjunta

Normalmente distribuido e independiente.

Si y están normalmente distribuidos e independientes , esto implica que están "normalmente distribuidos conjuntamente", es decir, el par debe tener una distribución normal multivariada. Sin embargo, un par de variables distribuidas normalmente de forma conjunta no tienen por qué ser independientes (solo lo serían si no estuvieran correlacionadas ). ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle \rho =0}$

Dos variables aleatorias distribuidas normalmente no necesitan ser normales bivariadas conjuntamente

El hecho de que dos variables aleatorias tengan una distribución normal no implica que el par tenga una distribución normal conjunta. Un ejemplo simple es aquel en el que X tiene una distribución normal con valor esperado 0 y varianza 1, y si y si , donde . Existen contraejemplos similares para más de dos variables aleatorias. En general, suman un modelo mixto . ^{[ cita necesaria ]} ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle (X,Y)}$ ${\displaystyle Y=X}$ ${\displaystyle |X|>c}$ ${\displaystyle Y=-X}$ ${\displaystyle |X|<c}$ ${\displaystyle c>0}$

Correlaciones e independencia

En general, las variables aleatorias pueden no estar correlacionadas pero ser estadísticamente dependientes. Pero si un vector aleatorio tiene una distribución normal multivariada, entonces dos o más de sus componentes que no están correlacionados son independientes . Esto implica que dos o más de sus componentes que son independientes por pares son independientes. Pero, como se señaló anteriormente, no es cierto que dos variables aleatorias que están ( por separado , marginalmente) distribuidas normalmente y no correlacionadas sean independientes.

Distribuciones condicionales

Si N -dimensional x se divide de la siguiente manera

${\displaystyle \mathbf {x} ={\begin{bmatrix}\mathbf {x} _{1}\\\mathbf {x} _{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

y en consecuencia μ y Σ se dividen de la siguiente manera

${\displaystyle {\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{1}\\{\boldsymbol {\mu }}_{2}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times 1\\(N-q)\times 1\end{bmatrix}}}$

${\displaystyle {\boldsymbol {\Sigma }}={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{bmatrix}}{\text{ with sizes }}{\begin{bmatrix}q\times q&q\times (N-q)\\(N-q)\times q&(N-q)\times (N-q)\end{bmatrix}}}$

entonces la distribución de x ₁ condicional a x ₂ = a es normal multivariada ^[22] ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ ) donde

${\displaystyle {\bar {\boldsymbol {\mu }}}={\boldsymbol {\mu }}_{1}+{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$

y matriz de covarianza

${\displaystyle {\overline {\boldsymbol {\Sigma }}}={\boldsymbol {\Sigma }}_{11}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\Sigma }}_{21}.}$^[23]

Aquí está el inverso generalizado de . La matriz es el complemento de Schur de Σ ₂₂ en Σ . Es decir, la ecuación anterior equivale a invertir la matriz de covarianza general, eliminar las filas y columnas correspondientes a las variables condicionadas y volver a invertir para obtener la matriz de covarianza condicional. ${\displaystyle {\boldsymbol {\Sigma }}_{22}^{-1}}$ ${\displaystyle {\boldsymbol {\Sigma }}_{22}}$ ${\displaystyle {\overline {\boldsymbol {\Sigma }}}}$

Tenga en cuenta que saber que x ₂ = a altera la varianza, aunque la nueva varianza no depende del valor específico de a ; Quizás lo más sorprendente es que la media se desplaza en ; compare esto con la situación de no conocer el valor de a , en cuyo caso x ₁ tendría distribución . ${\displaystyle {\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\left(\mathbf {a} -{\boldsymbol {\mu }}_{2}\right)}$ ${\displaystyle {\mathcal {N}}_{q}\left({\boldsymbol {\mu }}_{1},{\boldsymbol {\Sigma }}_{11}\right)}$

Un hecho interesante derivado para probar este resultado es que los vectores aleatorios y son independientes. ${\displaystyle \mathbf {x} _{2}}$ ${\displaystyle \mathbf {y} _{1}=\mathbf {x} _{1}-{\boldsymbol {\Sigma }}_{12}{\boldsymbol {\Sigma }}_{22}^{-1}\mathbf {x} _{2}}$

La matriz Σ ₁₂ Σ ₂₂ ⁻¹ se conoce como matriz de coeficientes de regresión .

Caso bivariado

En el caso bivariado donde x se divide en y , la distribución condicional de dado es ^[24] ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

${\displaystyle X_{1}\mid X_{2}=a\ \sim \ {\mathcal {N}}\left(\mu _{1}+{\frac {\sigma _{1}}{\sigma _{2}}}\rho (a-\mu _{2}),\,(1-\rho ^{2})\sigma _{1}^{2}\right)}$

donde es el coeficiente de correlación entre y . ${\displaystyle \rho }$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

Expectativa condicional bivariada

En el caso general

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},{\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\right)}$

La expectativa condicional de X ₁ dado X ₂ es:

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\mu _{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(x_{2}-\mu _{2})}$

Prueba: el resultado se obtiene tomando la expectativa de la distribución condicional anterior. ${\displaystyle X_{1}\mid X_{2}}$

En el caso centrado con variaciones unitarias

${\displaystyle {\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}\sim {\mathcal {N}}\left({\begin{pmatrix}0\\0\end{pmatrix}},{\begin{pmatrix}1&\rho \\\rho &1\end{pmatrix}}\right)}$

La expectativa condicional de X ₁ dado X ₂ es

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

y la varianza condicional es

${\displaystyle \operatorname {var} (X_{1}\mid X_{2}=x_{2})=1-\rho ^{2};}$

por tanto, la varianza condicional no depende de x ₂ .

La expectativa condicional de X ₁ dado que X ₂ es menor/mayor que z es: ^{[25] : 367}

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=-\rho {\varphi (z) \over \Phi (z)},}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}>z)=\rho {\varphi (z) \over (1-\Phi (z))},}$

donde la relación final aquí se llama relación de Mills inversa .

Prueba: los dos últimos resultados se obtienen usando el resultado , de modo que ${\displaystyle \operatorname {E} (X_{1}\mid X_{2}=x_{2})=\rho x_{2}}$

${\displaystyle \operatorname {E} (X_{1}\mid X_{2}<z)=\rho E(X_{2}\mid X_{2}<z)}$y luego usando las propiedades de la expectativa de una distribución normal truncada .

Distribuciones marginales

Para obtener la distribución marginal sobre un subconjunto de variables aleatorias normales multivariadas, sólo es necesario eliminar las variables irrelevantes (las variables que se quieren marginar) del vector medio y la matriz de covarianza. La prueba de esto se desprende de las definiciones de distribuciones normales multivariadas y álgebra lineal. ^[26]

Ejemplo

Sean X = [ X ₁ , X ₂ , X ₃ ] variables aleatorias normales multivariadas con vector medio μ = [ μ ₁ , μ ₂ , μ ₃ ] y matriz de covarianza Σ (parametrización estándar para distribuciones normales multivariadas). Entonces la distribución conjunta de X′ = [ X ₁ , X ₃ ] es normal multivariada con vector medio μ′ = [ μ ₁ , μ ₃ ] y matriz de covarianza . ${\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}}$

Transformacion afin

Si Y = c + BX es una transformación afín de donde c es un vector de constantes y B es una matriz constante , entonces Y tiene una distribución normal multivariada con valor esperado c + Bμ y varianza BΣB ^T , es decir, . En particular, cualquier subconjunto de X _i tiene una distribución marginal que también es normal multivariada. Para ver esto, considere el siguiente ejemplo: para extraer el subconjunto ( X ₁ , X ₂ , X ₄ ) ^T , use ${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}),}$ ${\displaystyle M\times 1}$ ${\displaystyle M\times N}$ ${\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}$

que extrae los elementos deseados directamente.

Otro corolario es que la distribución de Z = b · X , donde b es un vector constante con el mismo número de elementos que X y el punto indica el producto escalar , es gaussiana univariada con . Este resultado se obtiene utilizando ${\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)}$

${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}.}$

Observe cómo la definición positiva de Σ implica que la varianza del producto escalar debe ser positiva.

Una transformación afín de X como 2 X no es lo mismo que la suma de dos realizaciones independientes de X.

Interpretación geométrica

Los contornos de equidensidad de una distribución normal multivariada no singular son elipsoides (es decir, transformaciones afines de hiperesferas ) centrados en la media. ^[27] Por lo tanto, la distribución normal multivariada es un ejemplo de la clase de distribuciones elípticas . Las direcciones de los ejes principales de los elipsoides vienen dadas por los vectores propios de la matriz de covarianza . Las longitudes relativas al cuadrado de los ejes principales vienen dadas por los valores propios correspondientes. ${\displaystyle {\boldsymbol {\Sigma }}}$

Si Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T es una descomposición propia donde las columnas de U son vectores propios unitarios y Λ es una matriz diagonal de los valores propios, entonces tenemos

${\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\boldsymbol {\Lambda }}^{1/2}{\mathcal {N}}(0,\mathbf {I} )\iff \mathbf {X} \ \sim {\boldsymbol {\mu }}+\mathbf {U} {\mathcal {N}}(0,{\boldsymbol {\Lambda }}).}$

Además, se puede elegir que U sea una matriz de rotación , ya que invertir un eje no tiene ningún efecto sobre N (0, Λ ), pero invertir una columna cambia el signo del determinante de U. La distribución N ( μ , Σ ) es, en efecto, N (0, I ) escalada por Λ ^1/2 , rotada por U y trasladada por μ .

Por el contrario, cualquier elección de μ , matriz de rango completo U y entradas diagonales positivas Λ _i produce una distribución normal multivariada no singular. Si cualquier Λ _i es cero y U es cuadrado, la matriz de covarianza resultante UΛU ^T es singular . Geométricamente, esto significa que cada elipsoide de contorno es infinitamente delgado y tiene volumen cero en un espacio de n dimensiones, ya que al menos uno de los ejes principales tiene una longitud de cero; Este es el caso degenerado .

"El radio alrededor de la media verdadera en una variable aleatoria normal bivariada, reescrita en coordenadas polares (radio y ángulo), sigue una distribución de Hoyt ". ^[28]

En una dimensión, la probabilidad de encontrar una muestra de la distribución normal en el intervalo es aproximadamente del 68,27%, pero en dimensiones superiores la probabilidad de encontrar una muestra en la región de la elipse de desviación estándar es menor. ^[29] ${\displaystyle \mu \pm \sigma }$

Inferencia estadística

Estimación de parámetros

La derivación del estimador de máxima verosimilitud de la matriz de covarianza de una distribución normal multivariada es sencilla.

En resumen, la función de densidad de probabilidad (pdf) de una normal multivariada es

${\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}$

y el estimador ML de la matriz de covarianza de una muestra de n observaciones es ^[30]

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\mathrm {T} }}$

que es simplemente la matriz de covarianza de la muestra . Este es un estimador sesgado cuya expectativa es

${\displaystyle E\left[{\widehat {\boldsymbol {\Sigma }}}\right]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}.}$

Una covarianza muestral insesgada es

${\displaystyle {\widehat {\boldsymbol {\Sigma }}}={\frac {1}{n-1}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}={\frac {1}{n-1}}\left[X'\left(I-{\frac {1}{n}}\cdot J\right)X\right]}$ (forma matricial; es la matriz identidad, J es una matriz de unos; el término entre paréntesis es, por tanto, la matriz centradora) ${\displaystyle I}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$ ${\displaystyle K\times K}$

La matriz de información de Fisher para estimar los parámetros de una distribución normal multivariada tiene una expresión de forma cerrada. Esto se puede utilizar, por ejemplo, para calcular el límite de Cramér-Rao para la estimación de parámetros en esta configuración. Consulte la información de Fisher para obtener más detalles.

Inferencia bayesiana

En estadística bayesiana , el prior conjugado del vector medio es otra distribución normal multivariante, y el prior conjugado de la matriz de covarianza es una distribución de Wishart inversa . Supongamos entonces que se han realizado n observaciones ${\displaystyle {\mathcal {W}}^{-1}}$

${\displaystyle \mathbf {X} =\{\mathbf {x} _{1},\dots ,\mathbf {x} _{n}\}\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

y que se ha asignado un prior conjugado, donde

${\displaystyle p({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})=p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\ p({\boldsymbol {\Sigma }}),}$

dónde

${\displaystyle p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }})\sim {\mathcal {N}}({\boldsymbol {\mu }}_{0},m^{-1}{\boldsymbol {\Sigma }}),}$

y

${\displaystyle p({\boldsymbol {\Sigma }})\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }},n_{0}).}$

Entonces ^[30]

${\displaystyle {\begin{array}{rcl}p({\boldsymbol {\mu }}\mid {\boldsymbol {\Sigma }},\mathbf {X} )&\sim &{\mathcal {N}}\left({\frac {n{\bar {\mathbf {x} }}+m{\boldsymbol {\mu }}_{0}}{n+m}},{\frac {1}{n+m}}{\boldsymbol {\Sigma }}\right),\\p({\boldsymbol {\Sigma }}\mid \mathbf {X} )&\sim &{\mathcal {W}}^{-1}\left({\boldsymbol {\Psi }}+n\mathbf {S} +{\frac {nm}{n+m}}({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})({\bar {\mathbf {x} }}-{\boldsymbol {\mu }}_{0})',n+n_{0}\right),\end{array}}}$

dónde

${\displaystyle {\begin{aligned}{\bar {\mathbf {x} }}&={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {x} _{i},\\\mathbf {S} &={\frac {1}{n}}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})(\mathbf {x} _{i}-{\bar {\mathbf {x} }})'.\end{aligned}}}$

Pruebas de normalidad multivariadas

Las pruebas de normalidad multivariada verifican la similitud de un conjunto de datos determinado con la distribución normal multivariada . La hipótesis nula es que el conjunto de datos es similar a la distribución normal, por lo tanto, un valor p suficientemente pequeño indica datos no normales. Las pruebas de normalidad multivariadas incluyen la prueba de Cox-Small ^[31] y la adaptación de Smith y Jain ^[32] de la prueba de Friedman-Rafsky creada por Larry Rafsky y Jerome Friedman . ^[33]

La prueba de Mardia ^[34] se basa en extensiones multivariadas de medidas de asimetría y curtosis . Para una muestra { x ₁ , ..., x _n } de vectores k -dimensionales calculamos

${\displaystyle {\begin{aligned}&{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{j=1}^{n}\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)\left(\mathbf {x} _{j}-{\bar {\mathbf {x} }}\right)^{\mathrm {T} }\\&A={1 \over 6n}\sum _{i=1}^{n}\sum _{j=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{j}-{\bar {\mathbf {x} }})\right]^{3}\\&B={\sqrt {\frac {n}{8k(k+2)}}}\left\{{1 \over n}\sum _{i=1}^{n}\left[(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }\;{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})\right]^{2}-k(k+2)\right\}\end{aligned}}}$

Bajo la hipótesis nula de normalidad multivariada, el estadístico A tendrá aproximadamente una distribución chi-cuadrado con1/6⋅ k ( k + 1)( k + 2) grados de libertad, y B será aproximadamente normal estándar N (0,1).

La estadística de curtosis de Mardia está sesgada y converge muy lentamente a la distribución normal limitante. Para muestras de tamaño mediano , los parámetros de la distribución asintótica del estadístico de curtosis se modifican ^[35] Para pruebas de muestras pequeñas ( ) se utilizan valores críticos empíricos. Rencher ^[36] proporciona tablas de valores críticos para ambas estadísticas para k  = 2, 3, 4. ${\displaystyle (50\leq n<400)}$ ${\displaystyle n<50}$

Las pruebas de Mardia son invariantes por afinidad pero no consistentes. Por ejemplo, la prueba de asimetría multivariada no es consistente con alternativas simétricas no normales. ^[37]

La prueba BHEP ^[38] calcula la norma de la diferencia entre la función característica empírica y la función característica teórica de la distribución normal. El cálculo de la norma se realiza en el espacio L ² ( μ ) de funciones integrables al cuadrado con respecto a la función de ponderación gaussiana . El estadístico de prueba es ${\displaystyle \mu _{\beta }(\mathbf {t} )=(2\pi \beta ^{2})^{-k/2}e^{-|\mathbf {t} |^{2}/(2\beta ^{2})}}$

${\displaystyle {\begin{aligned}T_{\beta }&=\int _{\mathbb {R} ^{k}}\left|{1 \over n}\sum _{j=1}^{n}e^{i\mathbf {t} ^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1/2}(\mathbf {x} _{j}-{\bar {\mathbf {x} )}}}-e^{-|\mathbf {t} |^{2}/2}\right|^{2}\;{\boldsymbol {\mu }}_{\beta }(\mathbf {t} )\,d\mathbf {t} \\&={1 \over n^{2}}\sum _{i,j=1}^{n}e^{-{\beta ^{2} \over 2}(\mathbf {x} _{i}-\mathbf {x} _{j})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-\mathbf {x} _{j})}-{\frac {2}{n(1+\beta ^{2})^{k/2}}}\sum _{i=1}^{n}e^{-{\frac {\beta ^{2}}{2(1+\beta ^{2})}}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})^{\mathrm {T} }{\widehat {\boldsymbol {\Sigma }}}^{-1}(\mathbf {x} _{i}-{\bar {\mathbf {x} }})}+{\frac {1}{(1+2\beta ^{2})^{k/2}}}\end{aligned}}}$

La distribución límite de esta estadística de prueba es una suma ponderada de variables aleatorias de chi-cuadrado. ^[38]

Se encuentra disponible un estudio detallado de estos y otros procedimientos de prueba. ^[39]

Clasificación en clases normales multivariadas.

Izquierda: Clasificación de siete clases normales multivariadas. Las elipses coloreadas son elipses de error de 1 sd. El negro marca los límites entre las regiones de clasificación. es la probabilidad de error total de clasificación. Derecha: la matriz de error. es la probabilidad de clasificar una muestra de normal como . Estos se calculan mediante el método numérico de trazado de rayos ^[16] (código Matlab). ${\displaystyle p_{e}}$ ${\displaystyle p_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$

Análisis discriminante gaussiano

Supongamos que se supone que las observaciones (que son vectores) provienen de una de varias distribuciones normales multivariadas, con medias y covarianzas conocidas. Entonces, cualquier observación dada puede asignarse a la distribución de la que tiene la mayor probabilidad de surgir. Este procedimiento de clasificación se denomina análisis discriminante gaussiano. El rendimiento de la clasificación, es decir, las probabilidades de los diferentes resultados de la clasificación y el error de clasificación general, se pueden calcular mediante el método numérico de trazado de rayos ^[16] (código Matlab).

Métodos computacionales

Extraer valores de la distribución

Un método ampliamente utilizado para dibujar (muestrear) un vector aleatorio x de la distribución normal multivariada N -dimensional con vector medio μ y matriz de covarianza Σ funciona de la siguiente manera: ^[40]

1. Encuentre cualquier matriz real A tal que A  A ^T = Σ . Cuando Σ es definida positiva, normalmente se usa la descomposición de Cholesky , y siempre se puede usar la forma extendida de esta descomposición (ya que la matriz de covarianza puede ser solo semidefinida positiva) en ambos casos se obtiene una matriz A adecuada. Una alternativa es utilizar la matriz A = UΛ ^½ obtenida de una descomposición espectral Σ = UΛU ⁻¹ de Σ . El primer enfoque es más sencillo desde el punto de vista computacional, pero las matrices A cambian para diferentes ordenamientos de los elementos del vector aleatorio, mientras que el último enfoque proporciona matrices que están relacionadas mediante reordenamientos simples. En teoría, ambos enfoques ofrecen formas igualmente buenas de determinar una matriz A adecuada , pero existen diferencias en el tiempo de cálculo.
2. Sea z = ( z ₁ ,…, z _N ) ^T un vector cuyos componentes son N variables normales estándar independientes (que pueden generarse, por ejemplo, utilizando la transformada de Box-Muller ).
3. Sea x μ + Az .​ Tiene la distribución deseada debido a la propiedad de transformación afín.

Ver también

• Distribución Chi , la PDF de la norma 2 ( norma euclidiana o longitud del vector ) de un vector multivariado normalmente distribuido (no correlacionado y centrado en cero).
  • Distribución de Rayleigh , la pdf de la longitud del vector de un vector bivariado normalmente distribuido (no correlacionado y centrado en cero)
  • Distribución de Rice , la pdf de la longitud del vector de un vector bivariado normalmente distribuido (no correlacionado y no centrado)
  • Distribución de Hoyt , la pdf de la longitud del vector de un vector bivariado normalmente distribuido (correlacionado y centrado)
• Distribución normal compleja , una aplicación de la distribución normal bivariada
• Cópula , para la definición del modelo de cópula gaussiano o normal.
• Distribución t multivariada , que es otra distribución multivariada esféricamente simétrica ampliamente utilizada.
• Extensión de la distribución estable multivariada de la distribución normal multivariada, cuando el índice (exponente en la función característica) está entre cero y dos.
• Distancia de Mahalanobis
• distribución de deseos
• Distribución normal de la matriz

Referencias

1. Lapidoth, Amós (2009). Una Fundación en Comunicación Digital . Prensa de la Universidad de Cambridge. ISBN 978-0-521-19395-5.
2. Tripa, Allan (2009). Un curso intermedio en probabilidad . Saltador. ISBN 978-1-441-90161-3.
3. Kac, M. (1939). "Sobre una caracterización de la distribución normal". Revista Estadounidense de Matemáticas . 61 (3): 726–728. doi :10.2307/2371328. JSTOR  2371328.
4. Sinz, Fabián; Gerwinn, Sebastián; Bethge, Matías (2009). "Caracterización de la distribución normal p-generalizada". Revista de análisis multivariado . 100 (5): 817–820. doi : 10.1016/j.jmva.2008.07.006 .
5. Simon JD Prince (junio de 2012). Visión por computadora: modelos, aprendizaje e inferencia. Prensa de la Universidad de Cambridge. 3.7:"Distribución normal multivariada".
6. Hamedani, GG; Tata, MN (1975). "Sobre la determinación de la distribución normal bivariada a partir de distribuciones de combinaciones lineales de las variables". El Mensual Matemático Estadounidense . 82 (9): 913–915. doi :10.2307/2318494. JSTOR  2318494.
7. Wyatt, John (26 de noviembre de 2008). "Estimación del error cuadrático medio lineal" (PDF) . Apuntes del curso sobre probabilidad aplicada . Archivado desde el original (PDF) el 10 de octubre de 2015 . Consultado el 23 de enero de 2012 .
8. "álgebra lineal: mapeo entre funciones de coordenadas afines". Intercambio de pilas de matemáticas . Consultado el 24 de junio de 2022 .
9. Rao, CR (1973). Inferencia estadística lineal y sus aplicaciones . Nueva York: Wiley. págs. 527–528. ISBN 0-471-70823-2.
10. Botev, ZI (2016). "La ley normal bajo restricciones lineales: simulación y estimación mediante inclinación minimax". Revista de la Royal Statistical Society, Serie B. 79 : 125-148. arXiv : 1603.04166 . Código Bib : 2016arXiv160304166B. doi :10.1111/rssb.12162. S2CID  88515228.
11. Genz, Alan (2009). Cálculo de probabilidades multivariadas normales y t. Saltador. ISBN 978-3-642-01689-9.
12. Bensimhoun Michael, Función acumulativa N-dimensional y otros datos útiles sobre gaussianos y densidades normales (2006)
13. Siotani, Minoru (1964). "regiones de tolerancia para una población normal multivariada" (PDF) . Anales del Instituto de Matemática Estadística . 16 (1): 135-153. doi :10.1007/BF02868568. S2CID  123269490.
14. Botev, ZI; Mandjés, M.; Ridder, A. (6 a 9 de diciembre de 2015). "Distribución de cola del máximo de variables aleatorias gaussianas correlacionadas". Conferencia de simulación de invierno de 2015 (WSC) . Huntington Beach, California, Estados Unidos: IEEE. págs. 633–642. doi :10.1109/WSC.2015.7408202. hdl : 10419/130486 . ISBN 978-1-4673-9743-8.
15. Adler, RJ; Blanchet, J.; Liu, J. (7 a 10 de diciembre de 2008). "Simulación eficiente de probabilidades de cola de campos aleatorios gaussianos". Conferencia de simulación de invierno de 2008 (WSC) . Miami, Florida, Estados Unidos: IEEE. págs. 328–336. doi :10.1109/WSC.2008.4736085. ISBN 978-1-4244-2707-9.{{cite conference}}: CS1 maint: date and year (link)
16. Das, Abhranil; Wilson S Geisler (2020). "Métodos para integrar multinormales y calcular medidas de clasificación". arXiv : 2012.14331 [estad.ML].
17. Hernández-Stumpfhauser, Daniel; Breidt, F. Jay; van der Woerd, Mark J. (2017). "La distribución normal general proyectada de dimensión arbitraria: modelado e inferencia bayesiana". Análisis bayesiano . 12 (1): 113-133. doi : 10.1214/15-BA989 .
18. Tong, T. (2010) Regresión lineal múltiple: MLE y sus resultados distributivos Archivado el 16 de junio de 2013 en WebCite , Notas de la conferencia
19. Gokhale, DV; Ahmed, NA; Res, antes de Cristo; Piscataway, Nueva Jersey (mayo de 1989). "Expresiones de entropía y sus estimadores para distribuciones multivariadas". Transacciones IEEE sobre teoría de la información . 35 (3): 688–692. doi :10.1109/18.30996.
20. Duchi, J. "Derivaciones para optimización y álgebra lineal" (PDF) : 13. {{cite journal}}: Citar diario requiere |journal=( ayuda )
21. MacKay, David JC (6 de octubre de 2003). Teoría de la información, inferencia y algoritmos de aprendizaje (edición ilustrada). Cambridge: Prensa de la Universidad de Cambridge. ISBN 978-0-521-64298-9.
22. Holt, W.; Nguyen, D. (2023). "Aspectos esenciales de la imputación de datos bayesianos". SSRN  4494314. {{cite journal}}: Citar diario requiere |journal=( ayuda )
23. Eaton, Morris L. (1983). Estadística multivariada: un enfoque del espacio vectorial . John Wiley e hijos. págs. 116-117. ISBN 978-0-471-02776-8.
24. Jensen, J (2000). Estadísticas para ingenieros y geocientíficos petroleros . Ámsterdam: Elsevier. pag. 207.ISBN​ 0-444-50552-0.
25. Maddala, GS (1983). Variables dependientes y cualitativas limitadas en econometría . Prensa de la Universidad de Cambridge. ISBN 0-521-33825-5.
26. Aquí se muestra un cálculo algebraico de la distribución marginal http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html Archivado el 17 de enero de 2010 en Wayback Machine . Aquí se describe una prueba mucho más breve https://math.stackexchange.com/a/3832137
27. Nikolaus Hansen (2016). "La estrategia de evolución de CMA: un tutorial" (PDF) . arXiv : 1604.00772 . Código Bib : 2016arXiv160400772H. Archivado desde el original (PDF) el 31 de marzo de 2010 . Consultado el 7 de enero de 2012 .
28. Daniel Wollschläger. "The Hoyt Distribution (Documentación para el paquete R 'shotGroups' versión 0.6.2)".^{[ enlace muerto permanente ]}
29. Wang, contenedor; Shi, Wenzhong; Miao, Zelang (13 de marzo de 2015). Rocchini, Duccio (ed.). "Análisis de confianza de la elipse de desviación estándar y su extensión al espacio euclidiano de dimensiones superiores". MÁS UNO . 10 (3): e0118537. Código Bib : 2015PLoSO..1018537W. doi : 10.1371/journal.pone.0118537 . ISSN  1932-6203. PMC 4358977 . PMID  25769048. 
30. Holt, W.; Nguyen, D. (2023). "Introducción a la imputación de datos bayesianos". SSRN  4494314. {{cite journal}}: Citar diario requiere |journal=( ayuda )
31. Cox, DR; Pequeño, NJH (1978). "Prueba de normalidad multivariada". Biometrika . 65 (2): 263. doi :10.1093/biomet/65.2.263.
32. Smith, SP; Jain, Alaska (1988). "Una prueba para determinar la normalidad multivariada de un conjunto de datos". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 10 (5): 757. doi : 10.1109/34.6789.
33. Friedman, JH; Rafsky, LC (1979). "Generalizaciones multivariadas de las pruebas de dos muestras de Wald-Wolfowitz y Smirnov". Los anales de la estadística . 7 (4): 697. doi : 10.1214/aos/1176344722 .
34. Mardia, KV (1970). "Medidas de asimetría y curtosis multivariada con aplicaciones". Biometrika . 57 (3): 519–530. doi :10.1093/biomet/57.3.519.
35. Rencher (1995), páginas 112-113.
36. Rencher (1995), páginas 493–495.
37. Baringhaus, L.; Henze, N. (1991). "Distribuciones límite para medidas de asimetría y curtosis multivariadas basadas en proyecciones". Revista de análisis multivariado . 38 : 51–69. doi : 10.1016/0047-259X(91)90031-V .
38. Baringhaus, L.; Henze, N. (1988). "Una prueba consistente de normalidad multivariada basada en la función característica empírica". Métrica . 35 (1): 339–348. doi :10.1007/BF02613322. S2CID  122362448.
39. Henze, Norberto (2002). "Pruebas invariantes de normalidad multivariada: una revisión crítica". Artículos estadísticos . 43 (4): 467–506. doi :10.1007/s00362-002-0119-6. S2CID  122934510.
40. Gentil, JE (2009). Estadística Computacional. Estadística y Computación. Nueva York: Springer. págs. 315–316. doi :10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7.

Literatura

• Rencher, AC (1995). Métodos de Análisis Multivariado . Nueva York: Wiley.
• Tong, YL (1990). La distribución normal multivariada . Serie Springer en Estadística. Nueva York: Springer-Verlag. doi :10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4. S2CID  120348131.