Distribución normal-gamma

Familia de distribuciones de probabilidad continua

En teoría de probabilidad y estadística , la distribución normal-gamma (o distribución gaussiana-gamma ) es una familia bivariada de cuatro parámetros de distribuciones de probabilidad continuas . Es la distribución conjugada previa de una distribución normal con media y precisión desconocidas . ^[2]

Definición

Para un par de variables aleatorias , ( X , T ), supongamos que la distribución condicional de X dado T está dada por

${\displaystyle X\mid T\sim N(\mu ,1/(\lambda T))\,\!,}$

lo que significa que la distribución condicional es una distribución normal con media y precisión , es decir, con varianza. ${\displaystyle \mu }$ ${\displaystyle \lambda T}$ ${\displaystyle 1/(\lambda T).}$

Supongamos también que la distribución marginal de T está dada por

${\displaystyle T\mid \alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta ),}$

donde esto significa que T tiene una distribución gamma . Aquí λ , α y β son parámetros de la distribución conjunta.

Entonces ( X , T ) tiene una distribución gamma normal, y esto se denota por

${\displaystyle (X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ).}$

Propiedades

Función de densidad de probabilidad

La función de densidad de probabilidad conjunta de ( X , T ) es ^{[ cita requerida ]}

$${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\exp \left(-{\frac {\lambda \tau (x-\mu )^{2}}{2}}\right)}$$

Distribuciones marginales

Por construcción, la distribución marginal de es una distribución gamma y la distribución condicional de dada es una distribución gaussiana . La distribución marginal de es una distribución t de Student no estandarizada de tres parámetros con parámetros . ^{[ cita requerida ]} ${\displaystyle \tau }$ ${\displaystyle x}$ ${\displaystyle \tau }$ ${\displaystyle x}$ ${\displaystyle (\nu ,\mu ,\sigma ^{2})=(2\alpha ,\mu ,\beta /(\lambda \alpha ))}$

Familia exponencial

La distribución normal-gamma es una familia exponencial de cuatro parámetros con parámetros naturales y estadísticas naturales . ^{[ cita requerida ]} ${\displaystyle \alpha -1/2,-\beta -\lambda \mu ^{2}/2,\lambda \mu ,-\lambda /2}$ ${\displaystyle \ln \tau ,\tau ,\tau x,\tau x^{2}}$

Momentos de la estadística natural

Los siguientes momentos se pueden calcular fácilmente utilizando la función generadora de momentos de la estadística suficiente : ^[3]

${\displaystyle \operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta ,}$

¿Dónde está la función digamma ? ${\displaystyle \psi \left(\alpha \right)}$

${\displaystyle {\begin{aligned}\operatorname {E} (T)&={\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX)&=\mu {\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX^{2})&={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}.\end{aligned}}}$

Escalada

Si entonces para cualquiera se distribuye como ^{[ cita requerida ]} ${\displaystyle (X,T)\sim \mathrm {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ),}$ ${\displaystyle b>0,(bX,bT)}$ ${\displaystyle {\rm {NormalGamma}}(b\mu ,\lambda /b^{3},\alpha ,\beta /b).}$

Distribución posterior de los parámetros

Supongamos que x se distribuye según una distribución normal con media y precisión desconocidas . ${\displaystyle \mu }$ ${\displaystyle \tau }$

${\displaystyle x\sim {\mathcal {N}}(\mu ,\tau ^{-1})}$

y que la distribución previa en y , , tiene una distribución normal-gamma ${\displaystyle \mu }$ ${\displaystyle \tau }$ ${\displaystyle (\mu ,\tau )}$

${\displaystyle (\mu ,\tau )\sim {\text{NormalGamma}}(\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),}$

para el cual la densidad π satisface

${\displaystyle \pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[-\beta _{0}\tau ]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].}$

Suponer

${\displaystyle x_{1},\ldots ,x_{n}\mid \mu ,\tau \sim \operatorname {{i.}{i.}{d.}} \operatorname {N} \left(\mu ,\tau ^{-1}\right),}$

es decir, los componentes de son condicionalmente independientes dados y la distribución condicional de cada uno de ellos dada es normal con valor esperado y varianza. La distribución posterior de y dado este conjunto de datos se puede determinar analíticamente mediante el teorema de Bayes ^[4] explícitamente, ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$ ${\displaystyle \mu ,\tau }$ ${\displaystyle \mu ,\tau }$ ${\displaystyle \mu }$ ${\displaystyle 1/\tau .}$ ${\displaystyle \mu }$ ${\displaystyle \tau }$ ${\displaystyle \mathbb {X} }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu ),}$

donde es la probabilidad de los parámetros dados los datos. ${\displaystyle \mathbf {L} }$

Dado que los datos son iid, la probabilidad de todo el conjunto de datos es igual al producto de las probabilidades de las muestras de datos individuales:

${\displaystyle \mathbf {L} (\mathbf {X} \mid \tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}\mid \tau ,\mu ).}$

Esta expresión se puede simplificar de la siguiente manera:

${\displaystyle {\begin{aligned}\mathbf {L} (\mathbf {X} \mid \tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}}$

donde , la media de las muestras de datos, y , la varianza de la muestra. ${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ ${\displaystyle s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$

La distribución posterior de los parámetros es proporcional a la distribución anterior multiplicada por la probabilidad.

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}}$

El término exponencial final se simplifica completando el cuadrado.

${\displaystyle {\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu )+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}}}$

Al insertar esto nuevamente en la expresión anterior,

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}}$

Esta expresión final tiene exactamente la misma forma que una distribución Normal-Gamma, es decir,

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)}$

Interpretación de parámetros

La interpretación de los parámetros en términos de pseudoobservaciones es la siguiente:

• La nueva media toma un promedio ponderado de la pseudomedia antigua y la media observada, ponderada por el número de (pseudo)observaciones asociadas.
• La precisión se estimó a partir de pseudoobservaciones (es decir, posiblemente un número diferente de pseudoobservaciones, para permitir que la varianza de la media y la precisión se controlaran por separado) con la media de la muestra y la varianza de la muestra (es decir, con la suma de las desviaciones al cuadrado ). ${\displaystyle 2\alpha }$ ${\displaystyle \mu }$ ${\displaystyle {\frac {\beta }{\alpha }}}$ ${\displaystyle 2\beta }$
• La posterior actualiza el número de pseudoobservaciones ( ) simplemente agregando el número correspondiente de nuevas observaciones ( ). ${\displaystyle \lambda _{0}}$ ${\displaystyle n}$
• La nueva suma de las desviaciones al cuadrado se calcula sumando las respectivas sumas anteriores de las desviaciones al cuadrado. Sin embargo, se necesita un tercer "término de interacción" porque los dos conjuntos de desviaciones al cuadrado se calcularon con respecto a diferentes medias y, por lo tanto, la suma de los dos subestima la desviación al cuadrado total real.

En consecuencia, si uno tiene una media previa de de muestras y una precisión previa de de muestras, la distribución previa sobre y es ${\displaystyle \mu _{0}}$ ${\displaystyle n_{\mu }}$ ${\displaystyle \tau _{0}}$ ${\displaystyle n_{\tau }}$ ${\displaystyle \mu }$ ${\displaystyle \tau }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )=\operatorname {NormalGamma} \left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)}$

y después de observar muestras con media y varianza , la probabilidad posterior es ${\displaystyle n}$ ${\displaystyle \mu }$ ${\displaystyle s}$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)}$

Tenga en cuenta que en algunos lenguajes de programación, como Matlab , la distribución gamma se implementa con la definición inversa de , por lo que el cuarto argumento de la distribución Normal-Gamma es . ${\displaystyle \beta }$ ${\displaystyle 2\tau _{0}/n_{\tau }}$

Generación de variables aleatorias normales-gamma

La generación de variables aleatorias es sencilla:

1. Muestra de una distribución gamma con parámetros y ${\displaystyle \tau }$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
2. Muestra de una distribución normal con media y varianza ${\displaystyle x}$ ${\displaystyle \mu }$ ${\displaystyle 1/(\lambda \tau )}$

Distribuciones relacionadas

• La distribución gamma inversa normal es esencialmente la misma distribución parametrizada por la varianza en lugar de la precisión.
• La distribución normal-exponencial-gamma

Notas

1. Bernardo y Smith (1993, pág. 434)
2. Bernardo & Smith (1993, páginas 136, 268, 434)
3. Wasserman, Larry (2004), "Inferencia paramétrica", Springer Texts in Statistics , Nueva York, NY: Springer New York, págs. 119-148, ISBN 978-1-4419-2322-6, consultado el 8 de diciembre de 2023
4. "Teorema de Bayes: Introducción". Archivado desde el original el 7 de agosto de 2014. Consultado el 5 de agosto de 2014 .

Referencias

• Bernardo, JM; Smith, AFM (1993) Teoría bayesiana , Wiley. ISBN 0-471-49464-X 
• Dearden et al. "Bayesian Q-learning", Actas de la Decimoquinta Conferencia Nacional sobre Inteligencia Artificial (AAAI-98) , 26 al 30 de julio de 1998, Madison, Wisconsin, EE. UU.