Familia exponencial natural

En probabilidad y estadística , una familia exponencial natural ( NEF ) es una clase de distribuciones de probabilidad que es un caso especial de una familia exponencial (EF).

Definición

Caso univariado

Las familias exponenciales naturales (NEF) son un subconjunto de las familias exponenciales . Una NEF es una familia exponencial en la que el parámetro natural η y el estadístico natural T ( x ) son ambos la identidad. Una distribución en una familia exponencial con parámetro θ se puede escribir con la función de densidad de probabilidad (PDF)

${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \eta (\theta )T(x)-A(\theta )\ {\Big )}\,\!,}$

donde y son funciones conocidas. Por tanto, se puede escribir una distribución en una familia exponencial natural con parámetro θ con PDF ${\displaystyle h(x)}$ ${\displaystyle A(\theta )}$

${\displaystyle f_{X}(x\mid \theta )=h(x)\ \exp {\Big (}\ \theta x-A(\theta )\ {\Big )}\,\!.}$

[Tenga en cuenta que el creador de la NEF, Carl Morris, utiliza una notación ligeramente diferente. ^[1] Morris usa ω en lugar de η y ψ en lugar de A. ]

Caso multivariado general

Supongamos que , entonces una familia exponencial natural de orden p tiene función de densidad o masa de la forma: ${\displaystyle \mathbf {x} \in {\mathcal {X}}\subseteq \mathbb {R} ^{p}}$

${\displaystyle f_{X}(\mathbf {x} \mid {\boldsymbol {\theta }})=h(\mathbf {x} )\ \exp {\Big (}{\boldsymbol {\theta }}^{\rm {T}}\mathbf {x} -A({\boldsymbol {\theta }})\ {\Big )}\,\!,}$

donde en este caso el parámetro ${\displaystyle {\boldsymbol {\theta }}\in \mathbb {R} ^{p}.}$

Funciones generadoras de momentos y acumuladores.

Un miembro de una familia exponencial natural tiene una función generadora de momentos (MGF) de la forma

${\displaystyle M_{X}(\mathbf {t} )=\exp {\Big (}\ A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\ {\Big )}\,.}$

La función generadora acumulativa es por definición el logaritmo del MGF, por lo que es

${\displaystyle K_{X}(\mathbf {t} )=A({\boldsymbol {\theta }}+\mathbf {t} )-A({\boldsymbol {\theta }})\,.}$

Ejemplos

Los cinco casos univariados más importantes son:

• distribución normal con varianza conocida
• distribución de veneno
• distribución gamma con parámetro de forma conocido α (o k dependiendo del conjunto de notación utilizado)
• distribución binomial con número conocido de ensayos, n
• distribución binomial negativa con valores conocidos ${\displaystyle r}$

Estos cinco ejemplos (Poisson, binomial, binomial negativo, normal y gamma) son un subconjunto especial de NEF, llamado NEF con función de varianza cuadrática (NEF-QVF) porque la varianza se puede escribir como una función cuadrática de la media. NEF-QVF se analizan a continuación.

Distribuciones como la exponencial , la de Bernoulli y la geométrica son casos especiales de las cinco distribuciones anteriores. Por ejemplo, la distribución de Bernoulli es una distribución binomial con n  = 1 ensayo, la distribución exponencial es una distribución gamma con parámetro de forma α = 1 (o k  = 1) y la distribución geométrica es un caso especial de la distribución binomial negativa .

Algunas distribuciones familiares exponenciales no son NEF. La distribución lognormal y Beta pertenecen a la familia exponencial, pero no a la familia exponencial natural. La distribución gamma con dos parámetros es una familia exponencial pero no una NEF y la distribución chi-cuadrado es un caso especial de la distribución gamma con parámetro de escala fija y, por lo tanto, también es una familia exponencial pero no una NEF (tenga en cuenta que solo una familia exponencial distribución con parámetro de forma fija es un NEF).

La distribución gaussiana inversa es una NEF con una función de varianza cúbica.

La parametrización de la mayoría de las distribuciones anteriores se ha escrito de manera diferente a la parametrización comúnmente utilizada en los libros de texto y las páginas vinculadas anteriormente. Por ejemplo, la parametrización anterior difiere de la parametrización del artículo vinculado en el caso Poisson. Las dos parametrizaciones están relacionadas por , donde λ es el parámetro medio, por lo que la densidad puede escribirse como ${\displaystyle \theta =\log(\lambda )}$

${\displaystyle f(k;\theta )={\frac {1}{k!}}\exp {\Big (}\ \theta \ k-\exp(\theta )\ {\Big )}\ ,}$

para , entonces ${\displaystyle \theta \in \mathbb {R} }$

${\displaystyle h(k)={\frac {1}{k!}},{\text{ and }}A(\theta )=\exp(\theta )\ .}$

Esta parametrización alternativa puede simplificar enormemente los cálculos en estadística matemática . Por ejemplo, en la inferencia bayesiana , una distribución de probabilidad posterior se calcula como el producto de dos distribuciones. Normalmente, este cálculo requiere escribir las funciones de distribución de probabilidad (PDF) e integrarlas; Sin embargo, con la parametrización anterior se puede evitar ese cálculo. En cambio, las relaciones entre distribuciones se pueden abstraer debido a las propiedades del NEF que se describen a continuación.

Un ejemplo del caso multivariado es la distribución multinomial con un número conocido de ensayos.

Propiedades

Las propiedades de la familia exponencial natural se pueden utilizar para simplificar los cálculos que involucran estas distribuciones.

Caso univariado

1. Los cumulantes de una NEF se pueden calcular como derivadas de la función generadora de cumulantes de la NEF. El enésimo acumulante es la enésima derivada de la función generadora de acumuladores con respecto a t evaluada en t = 0.

La función generadora acumulativa es

${\displaystyle K_{X}(t)=A(\theta +t)-A(\theta )\,.}$

El primer acumulante es

${\displaystyle \kappa _{1}=K_{X}'(t){\Big |}_{t=0}=\left.{\frac {d}{dt}}A(\theta +t)\right|_{t=0}\,.}$

La media es el primer momento y siempre es igual al primer acumulante, por lo que

${\displaystyle \mu _{1}=\kappa _{1}=\operatorname {E} [X]=K'_{X}(0)=A'(\theta )\,.}$

La varianza es siempre el segundo acumulante y siempre está relacionada con el primer y segundo momento por

${\displaystyle \operatorname {Var} [X]=\kappa _{2}=\mu _{2}-\mu _{1}^{2}\,,}$

de modo que

${\displaystyle \operatorname {Var} [X]=K''_{X}(0)=A''(\theta )\,.}$

Asimismo, el enésimo acumulante es

${\displaystyle \kappa _{n}=A^{(n)}(\theta )\,.}$

2. Las familias exponenciales naturales (NEF) se cierran bajo convolución. ^[2]

Dada una distribución idéntica e independiente (iid) con distribución de una NEF, entonces es una NEF, aunque no necesariamente la NEF original. Esto se desprende de las propiedades de la función generadora acumulativa. ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \sum _{i=1}^{n}X_{i}\,}$

3. La función de varianza para variables aleatorias con distribución NEF se puede escribir en términos de la media. ^[2]

${\displaystyle \operatorname {Var} (X)=V(\mu ).}$

4. Los dos primeros momentos de una distribución NEF especifican de forma única la distribución dentro de esa familia de distribuciones. ^[2]

${\displaystyle X\sim \operatorname {NEF} [\mu ,V(\mu )].}$

Caso multivariado

En el caso multivariado, el vector medio y la matriz de covarianza son ^{[ cita necesaria ]}

${\displaystyle \operatorname {E} [X]=\nabla A({\boldsymbol {\theta }}){\text{ and }}\operatorname {Cov} [X]=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta }})\,,}$

donde está el gradiente y es la matriz de Hesse . ${\displaystyle \nabla }$ ${\displaystyle \nabla \nabla ^{\rm {T}}}$

Familias exponenciales naturales con funciones de varianza cuadrática (NEF-QVF)

Un caso especial de familias exponenciales naturales son aquellas con funciones de varianza cuadrática. Seis NEF tienen funciones de varianza cuadrática (QVF) en las que la varianza de la distribución se puede escribir como una función cuadrática de la media. Estos se denominan NEF-QVF. Las propiedades de estas distribuciones fueron descritas por primera vez por Carl Morris . ^[3]

${\displaystyle \operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2}.}$

Los seis NEF-QVF

Los seis NEF-QVF están escritos aquí en una complejidad creciente de la relación entre varianza y media.

1. La distribución normal con varianza fija es NEF-QVF porque la varianza es constante. La varianza se puede escribir , por lo que la varianza es una función de grado 0 de la media. ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\sigma ^{2}}$

2. La distribución de Poisson es NEF-QVF porque todas las distribuciones de Poisson tienen una varianza igual a la media , por lo que la varianza es una función lineal de la media. ${\displaystyle X\sim \operatorname {Poisson} (\mu )}$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu }$

3. La distribución Gamma es NEF-QVF porque la media de la distribución Gamma es y la varianza de la distribución Gamma es , por lo que la varianza es una función cuadrática de la media. ${\displaystyle X\sim \operatorname {Gamma} (r,\lambda )}$ ${\displaystyle \mu =r\lambda }$ ${\displaystyle \operatorname {Var} (X)=V(\mu )=\mu ^{2}/r}$

4. La distribución binomial es NEF-QVF porque la media es y la varianza es que se puede escribir en términos de la media como ${\displaystyle X\sim \operatorname {Binomial} (n,p)}$ ${\displaystyle \mu =np}$ ${\displaystyle \operatorname {Var} (X)=np(1-p)}$ ${\displaystyle V(X)=-np^{2}+np=-\mu ^{2}/n+\mu .}$

5. La distribución binomial negativa es NEF-QVF porque la media es y la varianza es ${\displaystyle X\sim \operatorname {NegBin} (n,p)}$ ${\displaystyle \mu =np/(1-p)}$ ${\displaystyle V(\mu )=\mu ^{2}/n+\mu .}$

6. La distribución (no muy famosa) generada por la distribución secante hiperbólica generalizada ^{[ aclaración necesaria ]} (NEF-GHS) tiene ^{[ cita necesaria ]} y ${\displaystyle V(\mu )=\mu ^{2}/n+n}$ ${\displaystyle \mu >0.}$

Propiedades de NEF-QVF

Las propiedades de NEF-QVF pueden simplificar los cálculos que utilizan estas distribuciones.

1. Las familias exponenciales naturales con funciones de varianza cuadrática (NEF-QVF) se cierran bajo convoluciones de una transformación lineal. ^[4] Es decir, una convolución de una transformación lineal de un NEF-QVF también es un NEF-QVF, aunque no necesariamente el original.

Dado independiente distribuida idénticamente (iid) con distribución de un NEF-QVF. Una convolución de una transformación lineal de un NEF-QVF también es un NEF-QVF. ${\displaystyle X_{1},\ldots ,X_{n}}$

Sea la convolución de una transformación lineal de X. La media de Y es . La varianza de Y se puede escribir en términos de la función de varianza del NEF-QVF original. Si el NEF-QVF original tuviera función de varianza ${\displaystyle Y=\sum _{i=1}^{n}(X_{i}-b)/c\,}$ ${\displaystyle \mu ^{*}=n(\mu -b)/c\,}$

${\displaystyle \operatorname {Var} (X)=V(\mu )=\nu _{0}+\nu _{1}\mu +\nu _{2}\mu ^{2},}$

entonces el nuevo NEF-QVF tiene función de varianza

${\displaystyle \operatorname {Var} (Y)=V^{*}(\mu ^{*})=\nu _{0}^{*}+\nu _{1}^{*}\mu +\nu _{2}^{*}\mu ^{2},}$

dónde

${\displaystyle \nu _{0}^{*}=nV(b)/c^{2}\,,}$

${\displaystyle \nu _{1}^{*}=V'(b)/c\,,}$

${\displaystyle \nu _{2}^{*}/n=\nu _{2}/n\,.}$

2. Sea y sea NEF independiente con el mismo parámetro θ y sea . Entonces la distribución condicional de dada tiene varianza cuadrática si y solo si y son NEF-QVF. Ejemplos de tales distribuciones condicionales son las distribuciones normal , binomial , beta , hipergeométrica y geométrica , que no son todas NEF-QVF. ^[1] ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$ ${\displaystyle Y=X_{1}+X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}}$

3. NEF-QVF tiene distribuciones previas conjugadas en μ en el sistema de distribuciones de Pearson (también llamado distribución de Pearson , aunque el sistema de distribuciones de Pearson es en realidad una familia de distribuciones en lugar de una distribución única). Ejemplos de distribuciones previas conjugadas de NEF- Las distribuciones QVF son las distribuciones normal , gamma , gamma recíproca, beta , F y t . Nuevamente, estos priores conjugados no son todos NEF-QVF. ^[1]

4. Si tiene una distribución NEF-QVF y μ tiene una distribución previa conjugada, entonces las distribuciones marginales son distribuciones bien conocidas. ^[1] ${\displaystyle X\mid \mu }$

Estas propiedades, junto con la notación anterior, pueden simplificar los cálculos en estadística matemática que normalmente se realizarían mediante cálculos y cálculos complicados.

Ver también

• Modelo lineal generalizado
• Distribución de Pearson
• secuencia sheffer
• Polinomios ortogonales

Referencias

1. Morris C. (2006) "Familias exponenciales naturales", Enciclopedia de Ciencias Estadísticas .
2. C Carl N. Morris. "Familias exponenciales naturales con funciones de varianza cuadrática: teoría estadística". Ana. Estadístico. 11 (2) 515 - 529, junio de 1983. doi :10.1214/aos/1176346158
3. Morris, Carl (1982). "Familias exponenciales naturales con funciones de varianza cuadrática". Los anales de la estadística . 10 (1): 65–80. doi : 10.1214/aos/1176345690 .
4. Morris, Carl; Bloquear, Kari F. (2009). "Unificación de las familias exponenciales naturales nombradas y sus parientes". El estadístico estadounidense . 63 (3): 247–253. doi :10.1198/tast.2009.08145. S2CID  7095121.

• Morris C. (1982) Familias exponenciales naturales con funciones de varianza cuadrática: teoría estadística . Departamento de Matemáticas, Instituto de Estadística, Universidad de Texas, Austin.