Distribución de mezcla

Distribución de probabilidad

En probabilidad y estadística , una distribución mixta es la distribución de probabilidad de una variable aleatoria que se deriva de una colección de otras variables aleatorias de la siguiente manera: primero, se selecciona una variable aleatoria al azar de la colección según las probabilidades de selección dadas y luego se obtiene el valor de la variable aleatoria seleccionada. Las variables aleatorias subyacentes pueden ser números reales aleatorios o pueden ser vectores aleatorios (cada uno con la misma dimensión), en cuyo caso la distribución mixta es una distribución multivariante .

En los casos en que cada una de las variables aleatorias subyacentes es continua , la variable de resultado también será continua y su función de densidad de probabilidad a veces se denomina densidad de mezcla . La función de distribución acumulativa (y la función de densidad de probabilidad si existe) se puede expresar como una combinación convexa (es decir, una suma ponderada, con pesos no negativos que suman 1) de otras funciones de distribución y funciones de densidad. Las distribuciones individuales que se combinan para formar la distribución de mezcla se denominan componentes de mezcla , y las probabilidades (o pesos) asociadas con cada componente se denominan pesos de mezcla . El número de componentes en una distribución de mezcla a menudo se limita a ser finito, aunque en algunos casos los componentes pueden ser infinitos en número contable. Los casos más generales (es decir, un conjunto incontable de distribuciones de componentes), así como el caso contable, se tratan bajo el título de distribuciones compuestas .

Es necesario distinguir entre una variable aleatoria cuya función de distribución o densidad es la suma de un conjunto de componentes (es decir, una distribución mixta) y una variable aleatoria cuyo valor es la suma de los valores de dos o más variables aleatorias subyacentes, en cuyo caso la distribución viene dada por el operador de convolución . A modo de ejemplo, la suma de dos variables aleatorias distribuidas de forma normal , cada una con medias diferentes, seguirá teniendo una distribución normal. Por otro lado, una densidad mixta creada como una mezcla de dos distribuciones normales con medias diferentes tendrá dos picos siempre que las dos medias estén lo suficientemente separadas, lo que demuestra que esta distribución es radicalmente diferente de una distribución normal.

Las distribuciones de mezcla surgen en muchos contextos en la literatura y surgen de manera natural cuando una población estadística contiene dos o más subpoblaciones . A veces también se utilizan como un medio para representar distribuciones no normales. El análisis de datos sobre modelos estadísticos que involucran distribuciones de mezcla se analiza bajo el título de modelos de mezcla , mientras que el presente artículo se concentra en propiedades probabilísticas y estadísticas simples de distribuciones de mezcla y cómo se relacionan con las propiedades de las distribuciones subyacentes.

Mezclas finitas y contables

Densidad de una mezcla de tres distribuciones normales ( μ  = 5, 10, 15, σ  = 2) con pesos iguales. Cada componente se muestra como una densidad ponderada (cada una integra 1/3)

Dado un conjunto finito de funciones de densidad de probabilidad p ₁ ( x ), ..., p _n ( x ), o funciones de distribución acumulativa correspondientes P ₁ ( x ), ..., P _n ( x ) y pesos w ₁ , ..., w _n tales que w _i ≥ 0 y Σ w _i = 1, la distribución de mezcla se puede representar escribiendo la densidad, f , o la función de distribución, F , como una suma (que en ambos casos es una combinación convexa):

${\displaystyle F(x)=\sum _{i=1}^{n}\,w_{i}\,P_{i}(x),}$

${\displaystyle f(x)=\sum _{i=1}^{n}\,w_{i}\,p_{i}(x).}$

Este tipo de mezcla, al ser una suma finita, se denomina mezcla finita y, en aplicaciones, una referencia no calificada a una "densidad de mezcla" suele significar una mezcla finita. El caso de un conjunto infinito numerable de componentes se cubre formalmente permitiendo . ${\displaystyle n=\infty \!}$

Mezclas incontables

Cuando el conjunto de distribuciones componentes es incontable , el resultado suele denominarse distribución de probabilidad compuesta . La construcción de dichas distribuciones tiene una similitud formal con la de las distribuciones de mezclas, en las que las sumas finitas utilizadas para las mezclas finitas se reemplazan por sumas infinitas o integrales.

Consideremos una función de densidad de probabilidad p ( x ; a ) para una variable x , parametrizada por a . Es decir, para cada valor de a en algún conjunto A , p ( x ; a ) es una función de densidad de probabilidad con respecto a x . Dada una función de densidad de probabilidad w (lo que significa que w es no negativo y se integra a 1), la función

${\displaystyle f(x)=\int _{A}\,w(a)\,p(x;a)\,da}$

es nuevamente una función de densidad de probabilidad para x . Se puede escribir una integral similar para la función de distribución acumulativa. Nótese que las fórmulas aquí se reducen al caso de una mezcla finita o infinita si se permite que la densidad w sea una función generalizada que represente la "derivada" de la función de distribución acumulativa de una distribución discreta .

Mezclas dentro de una familia paramétrica

Los componentes de la mezcla no suelen ser distribuciones de probabilidad arbitrarias, sino que son miembros de una familia paramétrica (como las distribuciones normales), con diferentes valores para uno o varios parámetros. En tales casos, suponiendo que exista, la densidad se puede escribir en forma de suma como:

${\displaystyle f(x;a_{1},\ldots ,a_{n})=\sum _{i=1}^{n}\,w_{i}\,p(x;a_{i})}$

para un parámetro, o

${\displaystyle f(x;a_{1},\ldots ,a_{n},b_{1},\ldots ,b_{n})=\sum _{i=1}^{n}\,w_{i}\,p(x;a_{i},b_{i})}$

para dos parámetros, y así sucesivamente.

Propiedades

Convexidad

Una combinación lineal general de funciones de densidad de probabilidad no es necesariamente una densidad de probabilidad, ya que puede ser negativa o puede integrarse en algo distinto de 1. Sin embargo, una combinación convexa de funciones de densidad de probabilidad conserva ambas propiedades (no negatividad e integración en 1) y, por lo tanto, las densidades de mezcla son en sí mismas funciones de densidad de probabilidad.

Momentos

Sea X ₁ , ..., X _n variables aleatorias de las distribuciones de n componentes, y sea X una variable aleatoria de la distribución de mezcla. Entonces, para cualquier función H (·) para la cual existe, y suponiendo que existen las densidades de componentes p _i ( x ), ${\displaystyle \operatorname {E} [H(X_{i})]}$

${\displaystyle {\begin{aligned}\operatorname {E} [H(X)]&=\int _{-\infty }^{\infty }H(x)\sum _{i=1}^{n}w_{i}p_{i}(x)\,dx\\&=\sum _{i=1}^{n}w_{i}\int _{-\infty }^{\infty }p_{i}(x)H(x)\,dx=\sum _{i=1}^{n}w_{i}\operatorname {E} [H(X_{i})].\end{aligned}}}$

El momento j respecto de cero (es decir, elegir H ( x ) = x ^j ) es simplemente un promedio ponderado de los momentos j de los componentes. Los momentos respecto de la media H ( x ) = ( x − μ ) ^j implican una expansión binomial: ^[1]

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{j}]&=\sum _{i=1}^{n}w_{i}\operatorname {E} [(X_{i}-\mu _{i}+\mu _{i}-\mu )^{j}]\\&=\sum _{i=1}^{n}w_{i}\sum _{k=0}^{j}\left({\begin{array}{c}j\\k\end{array}}\right)(\mu _{i}-\mu )^{j-k}\operatorname {E} [(X_{i}-\mu _{i})^{k}],\end{aligned}}}$

donde μ _i denota la media del i- ésimo componente.

En el caso de una mezcla de distribuciones unidimensionales con pesos w _i , medias μ _i y varianzas σ _i ² , la media y varianza totales serán:

${\displaystyle \operatorname {E} [X]=\mu =\sum _{i=1}^{n}w_{i}\mu _{i},}$

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{2}]&=\sigma ^{2}\\&=\operatorname {E} [X^{2}]-\mu ^{2}&(\mathrm {standard} \ \mathrm {variance} \ \mathrm {reformulation} )\\&=\left(\sum _{i=1}^{n}w_{i}(\operatorname {E} [X_{i}^{2}])\right)-\mu ^{2}\\&=\sum _{i=1}^{n}w_{i}(\sigma _{i}^{2}+\mu _{i}^{2})-\mu ^{2}&(\mathrm {from} \ \sigma _{i}^{2}=\operatorname {E} [X_{i}^{2}]-\mu _{i}^{2},\mathrm {therefore} \,\operatorname {E} [X_{i}^{2}]=\sigma _{i}^{2}+\mu _{i}^{2}.)\end{aligned}}}$

Estas relaciones resaltan el potencial de las distribuciones de mezclas para mostrar momentos de orden superior no triviales, como asimetría y curtosis ( colas gruesas ) y multimodalidad, incluso en ausencia de tales características dentro de los propios componentes. Marron y Wand (1992) dan una explicación ilustrativa de la flexibilidad de este marco. ^[2]

Modos

La cuestión de la multimodalidad es simple para algunos casos, como las mezclas de distribuciones exponenciales : todas esas mezclas son unimodales . ^[3] Sin embargo, para el caso de mezclas de distribuciones normales , es compleja. Ray y Lindsay ^[4] exploran las condiciones para el número de modos en una mezcla normal multivariada, ampliando el trabajo anterior sobre distribuciones univariadas ^{[5] [6]} y multivariadas ^[7] .

Aquí, el problema de evaluación de los modos de una mezcla de n componentes en un espacio de dimensión D se reduce a la identificación de puntos críticos (mínimos locales, máximos y puntos de silla ) en una variedad denominada superficie de cresta , que es la imagen de la función de cresta.

${\displaystyle x^{*}(\alpha )=\left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\right]^{-1}\times \left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\mu _{i}\right],}$

donde pertenece al simplex estándar -dimensional : y corresponden a la covarianza y media del componente i ^{ésimo . Ray y Lindsay [4]} consideran el caso en el que se muestra una correspondencia biunívoca de los modos de la mezcla y los de la función de elevación de la cresta , por lo que se pueden identificar los modos resolviendo con respecto a y determinando el valor . ${\displaystyle \alpha }$ ${\displaystyle (n-1)}$ ${\displaystyle {\mathcal {S}}_{n}=\{\alpha \in \mathbb {R} ^{n}:\alpha _{i}\in [0,1],\sum _{i=1}^{n}\alpha _{i}=1\}}$ ${\displaystyle \Sigma _{i}\in R^{D\times D},\,\mu _{i}\in R^{D}}$ ${\displaystyle n-1<D}$ ${\displaystyle h(\alpha )=q(x^{*}(\alpha ))}$ ${\displaystyle {\frac {dh(\alpha )}{d\alpha }}=0}$ ${\displaystyle \alpha }$ ${\displaystyle x^{*}(\alpha )}$

Utilizando herramientas gráficas, se demuestra la multimodalidad potencial de mezclas con número de componentes ; en particular, se muestra que el número de modas puede exceder y que las modas pueden no coincidir con las medias de los componentes. Para dos componentes, desarrollan una herramienta gráfica para el análisis resolviendo en cambio la diferencial antes mencionada con respecto al primer peso de mezcla (que también determina el segundo peso de mezcla a través de ) y expresando las soluciones como una función de modo que el número y la ubicación de las modas para un valor dado de corresponde al número de intersecciones del gráfico en la línea . Esto a su vez puede relacionarse con el número de oscilaciones del gráfico y, por lo tanto, con las soluciones de lo que conduce a una solución explícita para el caso de una mezcla de dos componentes con (a veces llamada mezcla homocedástica ) dada por ${\displaystyle n\in \{2,3\}}$ ${\displaystyle n}$ ${\displaystyle w_{1}}$ ${\displaystyle w_{2}=1-w_{1}}$ ${\displaystyle \Pi (\alpha ),\,\alpha \in [0,1]}$ ${\displaystyle w_{1}}$ ${\displaystyle \Pi (\alpha )=w_{1}}$ ${\displaystyle {\frac {d\Pi (\alpha )}{d\alpha }}=0}$ ${\displaystyle \Sigma _{1}=\Sigma _{2}=\Sigma }$

${\displaystyle 1-\alpha (1-\alpha )d_{M}(\mu _{1},\mu _{2},\Sigma )^{2}}$

¿Dónde está la distancia de Mahalanobis entre y ? ${\displaystyle d_{M}(\mu _{1},\mu _{2},\Sigma )={\sqrt {(\mu _{2}-\mu _{1})^{T}\Sigma ^{-1}(\mu _{2}-\mu _{1})}}}$ ${\displaystyle \mu _{1}}$ ${\displaystyle \mu _{2}}$

Como lo anterior es cuadrático, se deduce que en este caso hay como máximo dos modos, independientemente de la dimensión o los pesos.

Para mezclas normales con y generales , se conoce un límite inferior para el número máximo de modos posibles y, condicionalmente asumiendo que el número máximo es finito, un límite superior. Para aquellas combinaciones de y para las que se conoce el número máximo, coincide con el límite inferior. ^[8] ${\displaystyle n>2}$ ${\displaystyle D>1}$ ${\displaystyle n}$ ${\displaystyle D}$

Ejemplos

Dos distribuciones normales

Se pueden dar ejemplos sencillos de una mezcla de dos distribuciones normales. (Para más detalles, véase Distribución multimodal#Mezcla de dos distribuciones normales ).

Dada una mezcla igual (50/50) de dos distribuciones normales con la misma desviación estándar y medias diferentes ( homocedástica ), la distribución general exhibirá una curtosis baja en relación con una distribución normal única: las medias de las subpoblaciones recaen sobre los hombros de la distribución general. Si están suficientemente separadas, es decir, por el doble de la desviación estándar (común), forman una distribución bimodal ; de lo contrario, simplemente tiene un pico ancho. ^[9] La variación de la población general también será mayor que la variación de las dos subpoblaciones (debido a la dispersión de las medias diferentes) y, por lo tanto, exhibe sobredispersión en relación con una distribución normal con variación fija, aunque no estará sobredispersada en relación con una distribución normal con variación igual a la variación de la población general. ${\displaystyle \left|\mu _{1}-\mu _{2}\right|>2\sigma ,}$ ${\displaystyle \sigma ,}$

Como alternativa, dadas dos subpoblaciones con la misma media y diferentes desviaciones estándar, la población general exhibirá una curtosis alta, con un pico más pronunciado y colas más pesadas (y, en consecuencia, hombros menos profundos) que una distribución única.

• 
  Distribución de mezcla univariante, que muestra una distribución bimodal
• 
  Distribución de mezcla multivariable, que muestra cuatro modos

Una distribución normal y una distribución de Cauchy

El siguiente ejemplo es una adaptación de Hampel, ^[10] quien atribuye el mérito a John Tukey .

Consideremos la distribución de mezcla definida por

F ( x ) = (1 − 10 ⁻¹⁰ ) ( normal estándar ) + 10 ⁻¹⁰ ( Cauchy estándar ) .

La media de las observaciones iid de F ( x ) se comporta "normalmente" excepto para muestras exorbitantemente grandes, aunque la media de F ( x ) ni siquiera existe.

Aplicaciones

Las densidades de mezcla son densidades complicadas expresables en términos de densidades más simples (los componentes de la mezcla), y se utilizan porque proporcionan un buen modelo para ciertos conjuntos de datos (donde diferentes subconjuntos de los datos exhiben características diferentes y pueden modelarse mejor por separado), y porque pueden ser matemáticamente más manejables, ya que los componentes individuales de la mezcla se pueden estudiar más fácilmente que la densidad general de la mezcla.

Las densidades de mezcla se pueden utilizar para modelar una población estadística con subpoblaciones , donde los componentes de la mezcla son las densidades de las subpoblaciones y los pesos son las proporciones de cada subpoblación en la población general.

Las densidades de mezcla también se pueden utilizar para modelar errores experimentales o contaminación: se supone que la mayoría de las muestras miden el fenómeno deseado, y algunas muestras tienen una distribución diferente y errónea.

Las estadísticas paramétricas que suponen que no hay error a menudo fallan en tales densidades de mezcla (por ejemplo, las estadísticas que suponen normalidad a menudo fallan desastrosamente en presencia de incluso unos pocos valores atípicos ) y en su lugar se utilizan estadísticas robustas .

En el metanálisis de estudios separados, la heterogeneidad de los estudios hace que la distribución de los resultados sea una distribución mixta y conduce a una sobredispersión de los resultados en relación con el error previsto. Por ejemplo, en una encuesta estadística , el margen de error (determinado por el tamaño de la muestra) predice el error de muestreo y, por lo tanto, la dispersión de los resultados en encuestas repetidas. La presencia de heterogeneidad en los estudios (los estudios tienen diferentes sesgos de muestreo ) aumenta la dispersión en relación con el margen de error.

Véase también

• Distribución compuesta
• Distribución normal contaminada
• Combinación convexa
• Mónada Giry
• Algoritmo de maximización de expectativas (EM)
• No debe confundirse con: lista de convoluciones de distribuciones de probabilidad
• Distribución de productos

Mezcla

• Mezcla (probabilidad)
• Modelo de mezcla

Modelos jerárquicos

• Modelo gráfico
• Modelo jerárquico de Bayes

Notas

1. Frühwirth-Schnatter (2006, capítulo 1.2.4)
2. Marron, JS; Wand, MP (1992). "Error cuadrático medio integrado exacto". Anales de estadística . 20 (2): 712–736. doi : 10.1214/aos/1176348653 ., http://projecteuclid.org/euclid.aos/1176348653
3. Frühwirth-Schnatter (2006, capítulo 1)
4. Ray, R.; Lindsay, B. (2005), "La topografía de mezclas normales multivariadas", The Annals of Statistics , 33 (5): 2042–2065, arXiv : math/0602238 , doi :10.1214/009053605000000417
5. Robertson CA, Fryer JG (1969) Algunas propiedades descriptivas de mezclas normales. Skand Aktuarietidskr 137–146
6. Behboodian, J (1970). "Sobre los modos de una mezcla de dos distribuciones normales". Technometrics . 12 : 131–139. doi :10.2307/1267357. JSTOR  1267357.
7. Carreira-Perpiñán, M Á; Williams, C (2003). Sobre los modos de una mezcla gaussiana (PDF) . Publicado como: Lecture Notes in Computer Science 2695. Springer-Verlag . págs. 625–640. doi :10.1007/3-540-44935-3_44. ISSN  0302-9743.
8. Améndola, C.; Engström, A.; Haase, C. (2020), "Número máximo de modos de mezclas gaussianas", Información e inferencia: una revista del IMA , 9 (3): 587–600, arXiv : 1702.05066 , doi :10.1093/imaiai/iaz013
9. Schilling, Mark F.; Watkins, Ann E. ; Watkins, William (2002). "¿La altura humana es bimodal?". The American Statistician . 56 (3): 223–229. doi :10.1198/00031300265.
10. Hampel, Frank (1998), "¿Es la estadística demasiado difícil?", Revista Canadiense de Estadística , 26 : 497–513, doi : 10.2307/3315772, hdl : 20.500.11850/145503

Referencias

• Frühwirth-Schnatter, Sylvia (2006), Modelos de mezcla finita y conmutación de Markov , Springer, ISBN 978-1-4419-2194-9
• Lindsay, Bruce G. (1995), Modelos de mezcla: teoría, geometría y aplicaciones , Serie de conferencias regionales NSF-CBMS sobre probabilidad y estadística, vol. 5, Hayward, CA, EE. UU.: Instituto de Estadística Matemática, ISBN 0-940600-32-3, JSTOR  4153184
• Seidel, Wilfried (2010), "Modelos de mezcla", en Lovric, M. (ed.), International Encyclopedia of Statistical Science , Heidelberg: Springer, págs. 827–829, arXiv : 0909.0389 , doi :10.1007/978-3-642-04898-2, ISBN 978-3-642-04898-2
• Yao, Weixin; Xiang, Sijia (2024), Modelos de mezcla: paramétricos, semiparamétricos y nuevas direcciones, Boca Raton, FL: Chapman & Hall/CRC Press, ISBN 978-0367481827.