Distribución de probabilidad compuesta

En probabilidad y estadística , una distribución de probabilidad compuesta (también conocida como distribución mixta o distribución contagiosa ) es la distribución de probabilidad que resulta de suponer que una variable aleatoria se distribuye según alguna distribución parametrizada, con (algunos de) los parámetros de esa distribución. ellos mismos son variables aleatorias. Si el parámetro es un parámetro de escala , la mezcla resultante también se llama mezcla de escala .

La distribución compuesta ("distribución incondicional") es el resultado de marginar (integrar) sobre las variables aleatorias latentes que representan los parámetros de la distribución parametrizada ("distribución condicional").

Definición

Una distribución de probabilidad compuesta es la distribución de probabilidad que resulta de suponer que una variable aleatoria se distribuye según alguna distribución parametrizada con un parámetro desconocido que nuevamente se distribuye según alguna otra distribución . Se dice que la distribución resultante es la distribución que resulta de la capitalización con . La distribución del parámetro también se denomina distribución mixta o distribución latente . Técnicamente, la distribución incondicional resulta de marginar a , es decir, de integrar los parámetros desconocidos . Su función de densidad de probabilidad viene dada por: ${\displaystyle X}$ ${\displaystyle F}$ ${\displaystyle \theta }$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle G}$ ${\displaystyle \theta }$

${\displaystyle p_{H}(x)={\displaystyle \int \limits p_{F}(x|\theta )\,p_{G}(\theta )\operatorname {d} \!\theta }}$

La misma fórmula se aplica de manera análoga si algunas o todas las variables son vectores.

De la fórmula anterior, se puede ver que una distribución compuesta es esencialmente un caso especial de distribución marginal : la distribución conjunta de y está dada por , y el resultado compuesto es su distribución marginal :. Si el dominio de es discreto, entonces la distribución es nuevamente un caso especial de distribución mixta . ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle p(x,\theta )=p(x|\theta )p(\theta )}$ ${\displaystyle {\textstyle p(x)=\int p(x,\theta )\operatorname {d} \!\theta }}$ ${\displaystyle \theta }$

Propiedades

General

La distribución compuesta dependerá de la expresión específica de cada distribución, así como de qué parámetro de se distribuye según la distribución , y los parámetros de incluirán cualquier parámetro de que no esté marginado o integrado. El soporte de es el mismo que el de , y si este último es una distribución de dos parámetros parametrizada con la media y la varianza, existen algunas propiedades generales. ${\displaystyle H}$ ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle G}$ ${\displaystyle H}$ ${\displaystyle F}$

Media y varianza

Los dos primeros momentos de la distribución compuesta están dados por la ley de expectativa total y la ley de varianza total :

$${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}{\bigl [}\operatorname {E} _{F}[X|\theta ]{\bigr ]}}$$

$${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {E} _{G}{\bigl [}\operatorname {Var} _{F}(X|\theta ){\bigr ]}+\operatorname {Var} _{G}{\bigl (}\operatorname {E} _{F}[X|\theta ]{\bigr )}}$$

Si la media de se distribuye como , que a su vez tiene media y varianza, las expresiones anteriores implican y , donde está la varianza de . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle \operatorname {E} _{H}[X]=\operatorname {E} _{G}[\theta ]=\mu }$ ${\displaystyle \operatorname {Var} _{H}(X)=\operatorname {Var} _{F}(X|\theta )+\operatorname {Var} _{G}(Y)=\tau ^{2}+\sigma ^{2}}$ ${\displaystyle \tau ^{2}}$ ${\displaystyle F}$

Prueba

sean y sean distribuciones de probabilidad parametrizadas con una media de una varianza como ${\displaystyle F}$ ${\displaystyle G}$

$${\displaystyle {\begin{aligned}x&\sim {\mathcal {F}}(\theta ,\tau ^{2})\\\theta &\sim {\mathcal {G}}(\mu ,\sigma ^{2})\end{aligned}}}$$

${\displaystyle f(x|\theta )=p_{F}(x|\theta )}$ ${\displaystyle g(\theta )=p_{G}(\theta )}$ ${\displaystyle h(x)}$ ${\displaystyle H}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X]=\int _{F}xh(x)dx&=\int _{F}x\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}\int _{F}xf(x|\theta )dx\ g(\theta )d\theta \\&=\int _{G}\operatorname {E} _{F}[X|\theta ]g(\theta )d\theta \end{aligned}}}$$

${\displaystyle {\mathcal {F}}}$ ${\displaystyle {\mathcal {G}}}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{F}[X|\theta ]&=\int _{F}xf(x|\theta )dx=\theta \\\operatorname {E} _{G}[\theta ]&=\int _{G}\theta g(\theta )d\theta =\mu \end{aligned}}}$$

${\displaystyle \operatorname {E} _{H}[X]=\mu }$

La varianza de está dada por , y ${\displaystyle H}$ ${\displaystyle \operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}}$

$${\displaystyle {\begin{aligned}\operatorname {E} _{H}[X^{2}]=\int _{F}x^{2}h(x)dx&=\int _{F}x^{2}\int _{G}f(x|\theta )g(\theta )d\theta dx\\&=\int _{G}g(\theta )\int _{F}x^{2}f(x|\theta )dx\ d\theta \\&=\int _{G}g(\theta )(\tau ^{2}+\theta ^{2})d\theta \\&=\tau ^{2}\int _{G}g(\theta )d\theta +\int _{G}g(\theta )\theta ^{2}d\theta \\&=\tau ^{2}+(\sigma ^{2}+\mu ^{2}),\end{aligned}}}$$

${\displaystyle \int _{F}x^{2}f(x\mid \theta )dx=\operatorname {E} _{F}[X^{2}\mid \theta ]=\operatorname {Var} _{F}(X\mid \theta )+(\operatorname {E} _{F}[X\mid \theta ])^{2}}$ ${\displaystyle \int _{G}\theta ^{2}g(\theta )d\theta =\operatorname {E} _{G}[\theta ^{2}]=\operatorname {Var} _{G}(\theta )+(\operatorname {E} _{G}[\theta ])^{2}}$

$${\displaystyle {\begin{aligned}\operatorname {Var} _{H}(X)&=\operatorname {E} _{H}[X^{2}]-(\operatorname {E} _{H}[X])^{2}\\&=\tau ^{2}+\sigma ^{2}\end{aligned}}}$$

Aplicaciones

Pruebas

Las distribuciones de estadísticas de prueba comunes resultan como distribuciones compuestas bajo su hipótesis nula, por ejemplo en la prueba t de Student (donde la estadística de prueba resulta como la proporción de una variable aleatoria normal y chi-cuadrado ), o en la prueba F (donde el estadístico de prueba es la proporción de dos variables aleatorias de chi-cuadrado ).

Modelado de sobredispersión

Las distribuciones compuestas son útiles para modelar resultados que muestran sobredispersión , es decir, una mayor cantidad de variabilidad de la que se esperaría bajo un determinado modelo. Por ejemplo, los datos de recuento se modelan comúnmente utilizando la distribución de Poisson , cuya varianza es igual a su media. La distribución se puede generalizar permitiendo la variabilidad en su parámetro de tasa , implementada mediante una distribución gamma , que da como resultado una distribución binomial negativa marginal . Esta distribución es similar en su forma a la distribución de Poisson, pero permite variaciones mayores. De manera similar, una distribución binomial se puede generalizar para permitir una variabilidad adicional combinándola con una distribución beta para su parámetro de probabilidad de éxito, lo que da como resultado una distribución beta-binomial .

Inferencia bayesiana

Además de las distribuciones marginales ubicuas que pueden verse como casos especiales de distribuciones compuestas, en la inferencia bayesiana , las distribuciones compuestas surgen cuando, en la notación anterior, F representa la distribución de observaciones futuras y G es la distribución posterior de los parámetros de F , dada la información en un conjunto de datos observados. Esto da una distribución predictiva posterior . En consecuencia, para la distribución predictiva previa , F es la distribución de un nuevo punto de datos, mientras que G es la distribución previa de los parámetros.

Circunvolución

La convolución de distribuciones de probabilidad (para derivar la distribución de probabilidad de sumas de variables aleatorias) también puede verse como un caso especial de capitalización; aquí la distribución de la suma resulta esencialmente de considerar un sumando como un parámetro de ubicación aleatoria para el otro sumando. ^[1]

Cálculo

Las distribuciones compuestas derivadas de distribuciones familiares exponenciales suelen tener una forma cerrada. Si la integración analítica no es posible, pueden ser necesarios métodos numéricos.

Las distribuciones compuestas pueden investigarse con relativa facilidad utilizando métodos de Monte Carlo , es decir, generando muestras aleatorias. A menudo es fácil generar números aleatorios a partir de las distribuciones y luego utilizarlos para realizar un muestreo de Gibbs colapsado para generar muestras . ${\displaystyle p(\theta )}$ ${\displaystyle p(x|\theta )}$ ${\displaystyle p(x)}$

Por lo general, una distribución compuesta también puede aproximarse en un grado suficiente mediante una distribución de mezcla utilizando un número finito de componentes de la mezcla, lo que permite derivar densidad aproximada, función de distribución, etc. ^[1]

La estimación de parámetros ( estimación de máxima verosimilitud o estimación máxima a posteriori ) dentro de un modelo de distribución compuesto a veces puede simplificarse utilizando el algoritmo EM . ^[2]

Ejemplos

• Mezclas de escala gaussiana : ^{[3] [4]}
  • Al combinar una distribución normal con una varianza distribuida según una distribución gamma inversa (o equivalentemente, con una precisión distribuida como una distribución gamma ) se obtiene una distribución t de Student no estandarizada . ^[5] Esta distribución tiene la misma forma simétrica que una distribución normal con el mismo punto central, pero tiene mayor varianza y colas pesadas .
  • Al combinar una distribución gaussiana (o normal) con varianza distribuida según una distribución exponencial (o con desviación estándar según una distribución de Rayleigh ) se obtiene una distribución de Laplace . De manera más general, combinar una distribución gaussiana (o normal) con una varianza distribuida según una distribución gamma produce una distribución de varianza gamma .
  • Al combinar una distribución gaussiana con una varianza distribuida según una distribución exponencial cuyo parámetro de velocidad se distribuye según una distribución gamma, se obtiene una distribución gamma exponencial normal . (Esto implica dos etapas de capitalización. La varianza en sí sigue una distribución Lomax ; ver más abajo).
  • Al combinar una distribución gaussiana con una desviación estándar distribuida de acuerdo con una distribución uniforme inversa (estándar), se obtiene una distribución Slash .
  • Al combinar una distribución gaussiana (normal) con una distribución de Kolmogorov se obtiene una distribución logística . ^{[6] [3]}
• otras mezclas gaussianas :
  • Al combinar una distribución gaussiana con una media distribuida según otra distribución gaussiana se obtiene (nuevamente) una distribución gaussiana .
  • Al combinar una distribución gaussiana con una media distribuida según una distribución exponencial desplazada se obtiene una distribución gaussiana exponencialmente modificada .

• Al combinar una distribución de Bernoulli con probabilidad de éxito distribuida de acuerdo con una distribución que tiene un valor esperado definido, se obtiene una distribución de Bernoulli con probabilidad de éxito . Una consecuencia interesante es que la dispersión de no influye en la dispersión de la distribución del compuesto resultante. ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle E[X]}$ ${\displaystyle X}$
• Al combinar una distribución binomial con una probabilidad de éxito distribuida según una distribución beta se obtiene una distribución beta-binomial . Posee tres parámetros, un parámetro (número de muestras) de la distribución binomial y parámetros de forma y de la distribución beta. ^{[7] [8]} ${\displaystyle n}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
• Al combinar una distribución multinomial con un vector de probabilidad distribuido según una distribución de Dirichlet se obtiene una distribución multinomial de Dirichlet .
• Al combinar una distribución de Poisson con un parámetro de tasa distribuido según una distribución gamma se obtiene una distribución binomial negativa . ^{[9] [10]}
• Al combinar una distribución de Poisson con un parámetro de tasa distribuido según una distribución exponencial se obtiene una distribución geométrica .
• Al combinar una distribución exponencial con su parámetro de velocidad distribuido según una distribución gamma se obtiene una distribución Lomax . ^[11]
• La combinación de una distribución gamma con un parámetro de escala inversa distribuido de acuerdo con otra distribución gamma produce una distribución beta prima de tres parámetros . ^[12]
• Al combinar una distribución seminormal con su parámetro de escala distribuido según una distribución de Rayleigh se obtiene una distribución exponencial . Esto se deduce inmediatamente de la distribución de Laplace resultante como una mezcla a escala normal ; véase más arriba. Aquí también se pueden intercambiar las funciones de las distribuciones condicional y mixta; en consecuencia, al combinar una distribución de Rayleigh con su parámetro de escala distribuido según una distribución seminormal también se obtiene una distribución exponencial .
• Una variable aleatoria distribuida gamma (k = 2, θ) cuyo parámetro de escala θ nuevamente está distribuido uniformemente marginalmente produce una distribución exponencial .

Términos similares

La noción de "distribución compuesta" tal como se utiliza, por ejemplo, en la definición de distribución de Poisson compuesta o proceso de Poisson compuesto es diferente de la definición que se encuentra en este artículo. El significado de este artículo corresponde a lo que se utiliza, por ejemplo, en el modelado jerárquico bayesiano .

El caso especial de distribuciones de probabilidad compuestas donde la distribución parametrizada es la distribución de Poisson también se denomina distribución de Poisson mixta . ${\displaystyle F}$

Ver también

• Distribución de la mezcla
• Distribución de Poisson mixta
• Modelado jerárquico bayesiano
• Distribución marginal
• Distribución condicional
• Distribución conjunta
• Circunvolución
• Sobredispersión
• Algoritmo EM

Referencias

1. Röver, C.; Friede, T. (2017). "Aproximación discreta de la distribución de una mezcla mediante divergencia restringida". Revista de Estadística Computacional y Gráfica . 26 (1): 217–222. arXiv : 1602.04060 . doi : 10.1080/10618600.2016.1276840 .
2. Gelman, A.; Carlín, JB; popa, H.; Rubin, DB (1997). "9.5 Encontrar modos posteriores marginales utilizando EM y algoritmos relacionados ". Análisis de datos bayesianos (1ª ed.). Boca Ratón: Chapman & Hall / CRC. pag. 276.
3. Lee, SX; McLachlan, GJ (2019). "Distribución de mezclas a escala". Wiley StatsRef: referencia de estadísticas en línea . doi : 10.1002/9781118445112.stat08201.
4. Gneiting, T. (1997). "Mezclas de escala normal y densidades de probabilidad duales". Revista de simulación y computación estadística . 59 (4): 375–384. doi :10.1080/00949659708811867.
5. Estado de ánimo, mañana; Graybill, FA; Boes, CC (1974). Introducción a la teoría de la estadística (3ª ed.). Nueva York: McGraw-Hill.
6. Andrews, DF; Mallows, CL (1974), "Mezclas de escalas de distribuciones normales", Revista de la Royal Statistical Society, Serie B , 36 (1): 99–102, doi :10.1111/j.2517-6161.1974.tb00989.x
7. Johnson, Países Bajos; Kemp, AW; Kotz, S. (2005). "6.2.2". Distribuciones discretas univariadas (3ª ed.). Nueva York: Wiley. pag. 253.
8. Gelman, A.; Carlín, JB; popa, H.; Dunson, DB; Vehtari, A.; Rubin, DB (2014). Análisis de datos bayesianos (3ª ed.). Boca Ratón: Chapman & Hall / CRC.
9. Sin ley, JF (1987). "Regresión de Poisson binomial negativa y mixta". La Revista Canadiense de Estadísticas . 15 (3): 209–225. doi :10.2307/3314912. JSTOR  3314912.
10. Teich, MC; Diament, P. (1989). "Multiplicar representaciones estocásticas para distribuciones K y sus transformadas de Poisson". Revista de la Sociedad Óptica de América A. 6 (1): 80–91. Código Bib : 1989JOSAA...6...80T. CiteSeerX 10.1.1.64.596 . doi :10.1364/JOSAA.6.000080. 
11. Johnson, Países Bajos; Kotz, S.; Balakrishnan, N. (1994). "20 distribuciones de Pareto ". Distribuciones univariadas continuas . vol. 1 (2ª ed.). Nueva York: Wiley. pag. 573.
12. Dubey, SD (1970). "Distribuciones compuestas gamma, beta y F". Métrica . 16 : 27–31. doi :10.1007/BF02613934.

Otras lecturas

• Lindsay, BG (1995), Modelos de mezclas: teoría, geometría y aplicaciones , Serie de conferencias regionales NSF-CBMS sobre probabilidad y estadística, vol. 5, Hayward, CA, EE. UU.: Instituto de Estadística Matemática, págs. i–163, ISBN 978-0-940600-32-4, JSTOR  4153184
• Seidel, W. (2010), "Mixture models", en Lovric, M. (ed.), Enciclopedia internacional de ciencia estadística , Heidelberg: Springer, págs. 827–829, doi :10.1007/978-3-642-04898 -2_368, ISBN 978-3-642-04898-2
• Estado de ánimo, mañana; Graybill, FA; Boes, DC (1974), "III.4.3 Distribuciones contagiosas y distribuciones truncadas ", Introducción a la teoría de la estadística (3.ª ed.), Nueva York: McGraw-Hill, ISBN 978-0-07-042864-5
• Johnson, NL; Kemp, AW; Kotz, S. (2005), "8 Distribuciones de mezclas ", Distribuciones discretas univariadas , Nueva York: Wiley, ISBN 978-0-471-27246-5