Familia exponencial natural

En probabilidad y estadística , una familia exponencial natural ( FNE ) es una clase de distribuciones de probabilidad que es un caso especial de una familia exponencial (FE).

Definición

Caso univariado

Las familias exponenciales naturales (FNE) son un subconjunto de las familias exponenciales . Una FNE es una familia exponencial en la que el parámetro natural η y la estadística natural T ( x ) son ambos la identidad. Una distribución en una familia exponencial con parámetro θ se puede escribir con función de densidad de probabilidad (PDF) donde y son funciones conocidas. Una distribución en una familia exponencial natural con parámetro θ se puede escribir con PDF [Nótese que el creador de la FNE, Carl Morris, utiliza una notación ligeramente diferente. ^[1] Morris utiliza ω en lugar de η y ψ en lugar de A .] $${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \eta (\theta )T(x)-A(\theta )\ {\Big )}\,\!,}$$ ${\displaystyle h(x)}$ ${\displaystyle A(\theta )}$ $${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \theta x-A(\theta )\ {\Big )}\,\!.}$$

Caso multivariado general

Supongamos que , entonces una familia exponencial natural de orden p tiene función de densidad o masa de la forma: donde en este caso el parámetro ${\displaystyle \mathbf {x} \in {\mathcal {X}}\subseteq \mathbb {R} ^{p}}$ $${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\ \exp {\Big (}{\boldsymbol {\theta }}^{\rm {T}}\mathbf {x} -A({\boldsymbol {\theta }})\ {\Big )}\,\!,}$$ ${\displaystyle {\boldsymbol {\theta }}\in \mathbb {R} ^{p}.}$

Funciones generadoras de momentos y cumulantes

Un miembro de una familia exponencial natural tiene una función generadora de momentos (MGF) de la forma $${\displaystyle M_{X}(\mathbf {t} )=\exp {\Big (}\ A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\ {\Big )}\,.}$$

La función generadora cumulante es por definición el logaritmo de la MGF, por lo que es $${\displaystyle K_{X}(\mathbf {t} )=A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\,.}$$

Ejemplos

Los cinco casos univariados más importantes son:

• distribución normal con varianza conocida
• Distribución de Poisson
• distribución gamma con parámetro de forma conocido α (o k dependiendo del conjunto de notación utilizado)
• distribución binomial con número conocido de ensayos, n
• distribución binomial negativa con valores conocidos ${\displaystyle r}$

Estos cinco ejemplos (Poisson, binomial, binomial negativa, normal y gamma) son un subconjunto especial de NEF, llamado NEF con función de varianza cuadrática (NEF-QVF) porque la varianza se puede escribir como una función cuadrática de la media. A continuación se analizan los NEF-QVF.

Distribuciones como la distribución exponencial , la distribución de Bernoulli y la distribución geométrica son casos especiales de las cinco distribuciones anteriores. Por ejemplo, la distribución de Bernoulli es una distribución binomial con n  = 1 ensayo, la distribución exponencial es una distribución gamma con un parámetro de forma α = 1 (o k  = 1) y la distribución geométrica es un caso especial de la distribución binomial negativa .

Algunas distribuciones de la familia exponencial no son NEF. La distribución lognormal y la distribución Beta pertenecen a la familia exponencial, pero no a la familia exponencial natural. La distribución gamma con dos parámetros es una familia exponencial, pero no una NEF, y la distribución chi-cuadrado es un caso especial de la distribución gamma con un parámetro de escala fijo y, por lo tanto, también es una familia exponencial, pero no una NEF (nótese que solo una distribución gamma con un parámetro de forma fijo es una NEF).

La distribución gaussiana inversa es una NEF con una función de varianza cúbica.

La parametrización de la mayoría de las distribuciones anteriores se ha escrito de forma diferente a la parametrización que se utiliza habitualmente en los libros de texto y en las páginas vinculadas anteriormente. Por ejemplo, la parametrización anterior difiere de la parametrización del artículo vinculado en el caso de Poisson. Las dos parametrizaciones están relacionadas por , donde λ es el parámetro medio, y de modo que la densidad se puede escribir como para , por lo que ${\displaystyle \theta =\log(\lambda )}$ $${\displaystyle f(k;\theta )={\frac {1}{k!}}\exp {\Big (}\ \theta \ k-\exp(\theta )\ {\Big )}\ ,}$$ ${\displaystyle \theta \in \mathbb {R} }$ $${\displaystyle h(k)={\frac {1}{k!}},{\text{ and }}A(\theta )=\exp(\theta )\ .}$$

Esta parametrización alternativa puede simplificar enormemente los cálculos en estadística matemática . Por ejemplo, en la inferencia bayesiana , una distribución de probabilidad posterior se calcula como el producto de dos distribuciones. Normalmente, este cálculo requiere escribir las funciones de distribución de probabilidad (PDF) e integrarlas; sin embargo, con la parametrización anterior, se puede evitar ese cálculo. En cambio, las relaciones entre distribuciones se pueden abstraer debido a las propiedades de la NEF que se describen a continuación.

Un ejemplo del caso multivariado es la distribución multinomial con número conocido de ensayos.

Propiedades

Las propiedades de la familia exponencial natural se pueden utilizar para simplificar los cálculos que involucran estas distribuciones.

Caso univariado

1. Las familias exponenciales naturales (FNE) están cerradas bajo convolución. ^[2] Dado un sistema independiente idéntico distribuido (iid) con distribución de una FNE, entonces es una FNE, aunque no necesariamente la FNE original. Esto se desprende de las propiedades de la función generadora de cumulantes. ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \sum _{i=1}^{n}X_{i}\,}$
2. La función de varianza para variables aleatorias con una distribución NEF se puede escribir en términos de la media. ^[2] $${\displaystyle \operatorname {Var} (X)=V(\mu ).}$$
3. Los dos primeros momentos de una distribución NEF especifican de forma única la distribución dentro de esa familia de distribuciones. ^[2] $${\displaystyle X\sim \operatorname {NEF} [\mu ,V(\mu )].}$$

Caso multivariado

En el caso multivariado, el vector de media y la matriz de covarianza son ^{[ cita requerida ]} donde es el gradiente y es la matriz hessiana . $${\displaystyle \operatorname {E} [X]=\nabla A({\boldsymbol {\theta }}){\text{ and }}\operatorname {Cov} [X]=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta }})\,,}$$ ${\displaystyle \nabla }$ ${\displaystyle \nabla \nabla ^{\rm {T}}}$

Familias exponenciales naturales con funciones de varianza cuadrática (NEF-QVF)

Un caso especial de las familias exponenciales naturales son aquellas con funciones de varianza cuadráticas. Seis NEF tienen funciones de varianza cuadráticas (QVF) en las que la varianza de la distribución se puede escribir como una función cuadrática de la media. Estas se denominan NEF-QVF. Las propiedades de estas distribuciones fueron descritas por primera vez por Carl Morris . ^[3]

$${\displaystyle \operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2}.}$$

Los seis NEF-QVF

Los seis NEF-QVF se escriben aquí en orden creciente de complejidad de la relación entre varianza y media.

1. La distribución normal con varianza fija es NEF-QVF porque la varianza es constante. La varianza se puede escribir como , por lo que la varianza es una función de grado 0 de la media. ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\sigma ^{2}}$
2. La distribución de Poisson es NEF-QVF porque todas las distribuciones de Poisson tienen varianza igual a la media , por lo que la varianza es una función lineal de la media. ${\displaystyle X\sim \operatorname {Poisson} (\mu )}$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu }$
3. La distribución Gamma es NEF-QVF porque la media de la distribución Gamma es y la varianza de la distribución Gamma es , por lo que la varianza es una función cuadrática de la media. ${\displaystyle X\sim \operatorname {Gamma} (r,\lambda )}$ ${\displaystyle \mu =r\lambda }$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu ^{2}/r}$
4. La distribución binomial es NEF-QVF porque la media es y la varianza es que se puede escribir en términos de la media como ${\displaystyle X\sim \operatorname {Binomial} (n,p)}$ ${\displaystyle \mu =np}$ ${\displaystyle \operatorname {Var} (X)=np(1-p)}$

   ${\displaystyle V(X)=-np^{2}+np=-\mu ^{2}/n+\mu .}$

5. La distribución binomial negativa es NEF-QVF porque la media es y la varianza es ${\displaystyle X\sim \operatorname {NegBin} (n,p)}$ ${\displaystyle \mu =np/(1-p)}$ ${\displaystyle V(\mu )=\mu ^{2}/n+\mu .}$
6. La distribución (no muy famosa) generada por la distribución secante hiperbólica generalizada ^{[ aclaración necesaria ]} (NEF-GHS) tiene ^{[ cita necesaria ]} y ${\displaystyle V(\mu )=\mu ^{2}/n+n}$ ${\displaystyle \mu >0.}$

Propiedades de NEF-QVF

Las propiedades de NEF-QVF pueden simplificar los cálculos que utilizan estas distribuciones.

1. Las familias exponenciales naturales con funciones de varianza cuadrática (NEF-QVF) están cerradas bajo convoluciones de una transformación lineal. ^[4] Es decir, una convolución de una transformación lineal de una NEF-QVF es también una NEF-QVF, aunque no necesariamente la original.

   Dado un sistema independiente idéntico distribuido (iid) con distribución de un NEF-QVF, una convolución de una transformación lineal de un NEF-QVF también es un NEF-QVF. ${\displaystyle X_{1},\ldots ,X_{n}}$

   Sea la convolución de una transformación lineal de X . La media de Y es . La varianza de Y se puede escribir en términos de la función de varianza del NEF-QVF original. Si el NEF-QVF original tenía una función de varianza , entonces el nuevo NEF-QVF tiene una función de varianza donde ${\displaystyle Y=\sum _{i=1}^{n}(X_{i}-b)/c\,}$ ${\displaystyle \mu ^{*}=n(\mu -b)/c\,}$ $${\displaystyle \operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2},}$$ $${\displaystyle \operatorname {Var} (Y)=V^{*}(\mu ^{*})=\nu _{0}^{*}+\nu _{1}^{*}\mu +\nu _{2}^{*}\mu ^{2},}$$ $${\displaystyle \nu _{0}^{*}=nV(b)/c^{2}\,,}$$ $${\displaystyle \nu _{1}^{*}=V'(b)/c\,,}$$

   $${\displaystyle \nu _{2}^{*}/n=\nu _{2}/n\,.}$$
2. Sean y sean NEF independientes con el mismo parámetro θ y sea . Entonces la distribución condicional de dada tiene varianza cuadrática en si y solo si y son NEF-QVF. Ejemplos de tales distribuciones condicionales son las distribuciones normal , binomial , beta , hipergeométrica y geométrica , que no son todas NEF-QVF. ^[1] ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle Y=X_{1}+X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$
3. Las distribuciones NEF-QVF tienen distribuciones previas conjugadas en μ en el sistema de distribuciones de Pearson (también llamado distribución de Pearson , aunque el sistema de distribuciones de Pearson es en realidad una familia de distribuciones en lugar de una distribución única). Ejemplos de distribuciones previas conjugadas de distribuciones NEF-QVF son las distribuciones normal , gamma , gamma recíproca, beta , F- y t- . Nuevamente, estas distribuciones previas conjugadas no son todas NEF-QVF. ^[1]
4. Si tiene una distribución NEF-QVF y μ tiene una distribución previa conjugada, entonces las distribuciones marginales son distribuciones bien conocidas. ^[1] Estas propiedades junto con la notación anterior pueden simplificar los cálculos en estadística matemática que normalmente se realizarían utilizando cálculos y cálculos complicados. ${\displaystyle X\mid \mu }$

Véase también

• Modelo lineal generalizado
• Distribución de Pearson
• Secuencia de Sheffer
• Polinomios ortogonales

Referencias

1. Morris C. (2006) "Familias exponenciales naturales", Enciclopedia de ciencias estadísticas .
2. Carl N. Morris. "Familias exponenciales naturales con funciones de varianza cuadráticas: teoría estadística". Ann. Statist. 11 (2) 515 - 529, junio de 1983. doi :10.1214/aos/1176346158
3. Morris, Carl (1982). "Familias exponenciales naturales con funciones de varianza cuadrática". Anales de estadística . 10 (1): 65–80. doi : 10.1214/aos/1176345690 .
4. Morris, Carl; Lock, Kari F. (2009). "Unificación de las familias exponenciales naturales nombradas y sus parientes". The American Statistician . 63 (3): 247–253. doi :10.1198/tast.2009.08145. S2CID  7095121.

• Morris C. (1982) Familias exponenciales naturales con funciones de varianza cuadráticas: teoría estadística . Departamento de Matemáticas, Instituto de Estadística, Universidad de Texas, Austin.