Distribución de Dirichlet

Distribución de probabilidad

En probabilidad y estadística , la distribución de Dirichlet (en honor a Peter Gustav Lejeune Dirichlet ), a menudo denominada como , es una familia de distribuciones de probabilidad multivariadas continuas parametrizadas por un vector de reales positivos . Es una generalización multivariada de la distribución beta , ^[1] de ahí su nombre alternativo de distribución beta multivariada ( MBD ). ^[2] Las distribuciones de Dirichlet se utilizan comúnmente como distribuciones previas en estadística bayesiana y, de hecho, la distribución de Dirichlet es la previa conjugada de la distribución categórica y la distribución multinomial . ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}}$

La generalización de dimensión infinita de la distribución de Dirichlet es el proceso de Dirichlet .

Definiciones

Función de densidad de probabilidad

Ilustrando cómo cambia el logaritmo de la función de densidad cuando K  = 3, cambiamos el vector α de α  = (0,3, 0,3, 0,3) a (2,0, 2,0, 2,0), manteniendo todos los individuos iguales entre sí. ${\displaystyle \alpha _{i}}$

La distribución de Dirichlet de orden K  ≥ 2 con parámetros α ₁ , ..., α _K > 0 tiene una función de densidad de probabilidad con respecto a la medida de Lebesgue en el espacio euclidiano R ^K-1 dada por

${\displaystyle f\left(x_{1},\ldots ,x_{K};\alpha _{1},\ldots ,\alpha _{K}\right)={\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

donde pertenecen al simplex estándar , o en otras palabras: ${\displaystyle \{x_{k}\}_{k=1}^{k=K}}$ ${\displaystyle K-1}$ ${\displaystyle \sum _{i=1}^{K}x_{i}=1{\mbox{ and }}x_{i}\in \left[0,1\right]{\mbox{ for all }}i\in \{1,\dots ,K\}}$

La constante normalizadora es la función beta multivariada , que puede expresarse en términos de la función gamma :

${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}},\qquad {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K}).}$

Apoyo

El soporte de la distribución de Dirichlet es el conjunto de vectores K -dimensionales cuyas entradas son números reales en el intervalo [0,1] tales que , es decir, la suma de las coordenadas es igual a 1. Estos pueden verse como las probabilidades de un evento categórico de K -vías . Otra forma de expresar esto es que el dominio de la distribución de Dirichlet es en sí mismo un conjunto de distribuciones de probabilidad , específicamente el conjunto de distribuciones discretas K -dimensionales . El término técnico para el conjunto de puntos en el soporte de una distribución de Dirichlet K -dimensional es el estándar abierto ( K  − 1)-símplex , ^[3] que es una generalización de un triángulo , incrustado en la siguiente dimensión superior. Por ejemplo, con K  = 3, el soporte es un triángulo equilátero incrustado en forma de ángulo hacia abajo en el espacio tridimensional, con vértices en (1,0,0), (0,1,0) y (0,0,1), es decir, tocando cada uno de los ejes de coordenadas en un punto a 1 unidad del origen. ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle \|{\boldsymbol {x}}\|_{1}=1}$

Casos especiales

Un caso especial común es la distribución de Dirichlet simétrica , donde todos los elementos que componen el vector de parámetros tienen el mismo valor. El caso simétrico puede ser útil, por ejemplo, cuando se requiere una distribución previa de Dirichlet sobre los componentes, pero no hay conocimiento previo que favorezca a un componente sobre otro. Dado que todos los elementos del vector de parámetros tienen el mismo valor, la distribución de Dirichlet simétrica se puede parametrizar mediante un único valor escalar α , llamado parámetro de concentración . En términos de α, la función de densidad tiene la forma ${\displaystyle {\boldsymbol {\alpha }}}$

${\displaystyle f(x_{1},\dots ,x_{K};\alpha )={\frac {\Gamma (\alpha K)}{\Gamma (\alpha )^{K}}}\prod _{i=1}^{K}x_{i}^{\alpha -1}.}$

Cuando α = 1 ^[1] , la distribución de Dirichlet simétrica es equivalente a una distribución uniforme sobre el estándar abierto ( K  ​​− 1)-símplex , es decir, es uniforme sobre todos los puntos en su soporte . Esta distribución particular se conoce como distribución de Dirichlet plana . Los valores del parámetro de concentración superiores a 1 prefieren variables que sean distribuciones densas y uniformemente distribuidas, es decir, todos los valores dentro de una sola muestra sean similares entre sí. Los valores del parámetro de concentración inferiores a 1 prefieren distribuciones dispersas, es decir, la mayoría de los valores dentro de una sola muestra estarán cerca de 0 y la gran mayoría de la masa se concentrará en unos pocos valores.

En términos más generales, el vector de parámetros se escribe a veces como el producto de un parámetro de concentración ( escalar ) α y una medida base ( vectorial ) donde se encuentra dentro del ( K  − 1)-símplex (es decir: sus coordenadas suman uno). El parámetro de concentración en este caso es mayor por un factor de K que el parámetro de concentración para una distribución de Dirichlet simétrica descrita anteriormente. Esta construcción se relaciona con el concepto de una medida base cuando se analizan los procesos de Dirichlet y se utiliza a menudo en la literatura sobre modelado de temas. ${\displaystyle \alpha {\boldsymbol {n}}}$ ${\displaystyle {\boldsymbol {n}}=(n_{1},\dots ,n_{K})}$ ${\displaystyle {\boldsymbol {n}}}$ ${\displaystyle n_{i}}$

^ Si definimos el parámetro de concentración como la suma de los parámetros de Dirichlet para cada dimensión, la distribución de Dirichlet con parámetro de concentración K , la dimensión de la distribución, es la distribución uniforme en el ( K  − 1)-símplex.

Propiedades

Momentos

Dejar . ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$

Dejar

${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$

Entonces ^{[4] [5]}

${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\alpha _{0}}},}$

${\displaystyle \operatorname {Var} [X_{i}]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

Además, si ${\displaystyle i\neq j}$

${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.}$

La matriz es entonces singular .

De manera más general, los momentos de las variables aleatorias distribuidas según Dirichlet se pueden expresar de la siguiente manera. Para , denotamos por su -ésima potencia de Hadamard . Entonces, ^[6] ${\displaystyle {\boldsymbol {t}}=(t_{1},\dotsc ,t_{K})\in \mathbb {R} ^{K}}$ ${\displaystyle {\boldsymbol {t}}^{\circ i}=(t_{1}^{i},\dotsc ,t_{K}^{i})}$ ${\displaystyle i}$

${\displaystyle \operatorname {E} \left[({\boldsymbol {t}}\cdot {\boldsymbol {X}})^{n}\right]={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}\sum {\frac {{t_{1}}^{k_{1}}\cdots {t_{K}}^{k_{K}}}{k_{1}!\cdots k_{K}!}}\prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+k_{i})}{\Gamma (\alpha _{i})}}={\frac {n!\,\Gamma (\alpha _{0})}{\Gamma (\alpha _{0}+n)}}Z_{n}({\boldsymbol {t}}^{\circ 1}\cdot {\boldsymbol {\alpha }},\cdots ,{\boldsymbol {t}}^{\circ n}\cdot {\boldsymbol {\alpha }}),}$

donde la suma es sobre números enteros no negativos con , y es el polinomio de índice de ciclo del grupo simétrico de grado . ${\displaystyle k_{1},\ldots ,k_{K}}$ ${\displaystyle n=k_{1}+\cdots +k_{K}}$ ${\displaystyle Z_{n}}$ ${\displaystyle n}$

El análogo multivariado para vectores se puede expresar ^[7] en términos de un patrón de color de los exponentes en el sentido del teorema de enumeración de Pólya . ${\textstyle \operatorname {E} \left[({\boldsymbol {t}}_{1}\cdot {\boldsymbol {X}})^{n_{1}}\cdots ({\boldsymbol {t}}_{q}\cdot {\boldsymbol {X}})^{n_{q}}\right]}$ ${\displaystyle {\boldsymbol {t}}_{1},\dotsc ,{\boldsymbol {t}}_{q}\in \mathbb {R} ^{K}}$ ${\displaystyle n_{1},\dotsc ,n_{q}}$

Los casos particulares incluyen el cálculo simple ^[8]

${\displaystyle \operatorname {E} \left[\prod _{i=1}^{K}X_{i}^{\beta _{i}}\right]={\frac {B\left({\boldsymbol {\alpha }}+{\boldsymbol {\beta }}\right)}{B\left({\boldsymbol {\alpha }}\right)}}={\frac {\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}{\Gamma \left[\sum \limits _{i=1}^{K}(\alpha _{i}+\beta _{i})\right]}}\times \prod _{i=1}^{K}{\frac {\Gamma (\alpha _{i}+\beta _{i})}{\Gamma (\alpha _{i})}}.}$

Modo

La moda de la distribución es ^[9] el vector ( x ₁ , ..., x _K ) con

${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\qquad \alpha _{i}>1.}$

Distribuciones marginales

Las distribuciones marginales son distribuciones beta : ^[10]

${\displaystyle X_{i}\sim \operatorname {Beta} (\alpha _{i},\alpha _{0}-\alpha _{i}).}$

Conjugar a categórico o multinomial

La distribución de Dirichlet es la distribución previa conjugada de la distribución categórica (una distribución de probabilidad discreta genérica con un número dado de resultados posibles) y la distribución multinomial (la distribución sobre los recuentos observados de cada categoría posible en un conjunto de observaciones distribuidas categóricamente). Esto significa que si un punto de datos tiene una distribución categórica o multinomial, y la distribución previa del parámetro de la distribución (el vector de probabilidades que genera el punto de datos) se distribuye como una distribución de Dirichlet, entonces la distribución posterior del parámetro también es una distribución de Dirichlet. Intuitivamente, en tal caso, a partir de lo que sabemos sobre el parámetro antes de observar el punto de datos, podemos actualizar nuestro conocimiento en función del punto de datos y terminar con una nueva distribución de la misma forma que la anterior. Esto significa que podemos actualizar sucesivamente nuestro conocimiento de un parámetro incorporando nuevas observaciones una a la vez, sin encontrarnos con dificultades matemáticas.

Formalmente, esto se puede expresar de la siguiente manera: Dado un modelo

${\displaystyle {\begin{array}{rcccl}{\boldsymbol {\alpha }}&=&\left(\alpha _{1},\ldots ,\alpha _{K}\right)&=&{\text{concentration hyperparameter}}\\\mathbf {p} \mid {\boldsymbol {\alpha }}&=&\left(p_{1},\ldots ,p_{K}\right)&\sim &\operatorname {Dir} (K,{\boldsymbol {\alpha }})\\\mathbb {X} \mid \mathbf {p} &=&\left(\mathbf {x} _{1},\ldots ,\mathbf {x} _{K}\right)&\sim &\operatorname {Cat} (K,\mathbf {p} )\end{array}}}$

Entonces se cumple lo siguiente:

${\displaystyle {\begin{array}{rcccl}\mathbf {c} &=&\left(c_{1},\ldots ,c_{K}\right)&=&{\text{number of occurrences of category }}i\\\mathbf {p} \mid \mathbb {X} ,{\boldsymbol {\alpha }}&\sim &\operatorname {Dir} (K,\mathbf {c} +{\boldsymbol {\alpha }})&=&\operatorname {Dir} \left(K,c_{1}+\alpha _{1},\ldots ,c_{K}+\alpha _{K}\right)\end{array}}}$

Esta relación se utiliza en las estadísticas bayesianas para estimar el parámetro subyacente p de una distribución categórica dada una colección de N muestras. Intuitivamente, podemos ver el vector hiperprior α como pseudocounts , es decir, como la representación del número de observaciones en cada categoría que ya hemos visto. Luego, simplemente agregamos los recuentos de todas las nuevas observaciones (el vector c ) para derivar la distribución posterior.

En los modelos bayesianos de mezcla y otros modelos bayesianos jerárquicos con componentes de mezcla, las distribuciones de Dirichlet se utilizan comúnmente como distribuciones previas para las variables categóricas que aparecen en los modelos. Consulte la sección sobre aplicaciones a continuación para obtener más información.

Relación con la distribución multinomial de Dirichlet

En un modelo en el que se aplica una distribución a priori de Dirichlet a un conjunto de observaciones con valores categóricos , la distribución conjunta marginal de las observaciones (es decir, la distribución conjunta de las observaciones, con el parámetro a priori marginado ) es una distribución multinomial de Dirichlet . Esta distribución desempeña un papel importante en los modelos bayesianos jerárquicos , porque al realizar inferencias sobre dichos modelos utilizando métodos como el muestreo de Gibbs o el Bayes variacional , las distribuciones a priori de Dirichlet suelen quedar marginadas. Consulte el artículo sobre esta distribución para obtener más detalles.

Entropía

Si X es una variable aleatoria, la entropía diferencial de X (en unidades naturales ) es ^[11] ${\displaystyle \operatorname {Dir} ({\boldsymbol {\alpha }})}$

${\displaystyle h({\boldsymbol {X}})=\operatorname {E} [-\ln f({\boldsymbol {X}})]=\ln \operatorname {B} ({\boldsymbol {\alpha }})+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

¿Dónde está la función digamma ? ${\displaystyle \psi }$

La siguiente fórmula para se puede utilizar para derivar la entropía diferencial anterior. Dado que las funciones son las estadísticas suficientes de la distribución de Dirichlet, las identidades diferenciales de la familia exponencial se pueden utilizar para obtener una expresión analítica para la esperanza de (véase la ecuación (2.62) en ^[12] ) y su matriz de covarianza asociada: ${\displaystyle \operatorname {E} [\ln(X_{i})]}$ ${\displaystyle \ln(X_{i})}$ ${\displaystyle \ln(X_{i})}$

${\displaystyle \operatorname {E} [\ln(X_{i})]=\psi (\alpha _{i})-\psi (\alpha _{0})}$

y

${\displaystyle \operatorname {Cov} [\ln(X_{i}),\ln(X_{j})]=\psi '(\alpha _{i})\delta _{ij}-\psi '(\alpha _{0})}$

donde es la función digamma , es la función trigamma y es el delta de Kronecker . ${\displaystyle \psi }$ ${\displaystyle \psi '}$ ${\displaystyle \delta _{ij}}$

El espectro de información de Rényi para valores distintos de está dado por ^[13] ${\displaystyle \lambda =1}$

${\displaystyle F_{R}(\lambda )=(1-\lambda )^{-1}\left(-\lambda \log \mathrm {B} ({\boldsymbol {\alpha }})+\sum _{i=1}^{K}\log \Gamma (\lambda (\alpha _{i}-1)+1)-\log \Gamma (\lambda (\alpha _{0}-K)+K)\right)}$

y la entropía de la información es el límite que tiende a 1. ${\displaystyle \lambda }$

Otra medida interesante relacionada es la entropía de un vector categórico discreto (binario de uno de K) con distribución de probabilidad-masa , es decir, . La entropía de información condicional de , dada es ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle P(Z_{i}=1,Z_{j\neq i}=0|{\boldsymbol {X}})=X_{i}}$ ${\displaystyle {\boldsymbol {Z}}}$ ${\displaystyle {\boldsymbol {X}}}$

${\displaystyle S({\boldsymbol {X}})=H({\boldsymbol {Z}}|{\boldsymbol {X}})=\operatorname {E} _{\boldsymbol {Z}}[-\log P({\boldsymbol {Z}}|{\boldsymbol {X}})]=\sum _{i=1}^{K}-X_{i}\log X_{i}}$

Esta función de es una variable aleatoria escalar. Si tiene una distribución de Dirichlet simétrica con todos los , el valor esperado de la entropía (en unidades naturales ) es ^[14] ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle {\boldsymbol {X}}}$ ${\displaystyle \alpha _{i}=\alpha }$

${\displaystyle \operatorname {E} [S({\boldsymbol {X}})]=\sum _{i=1}^{K}\operatorname {E} [-X_{i}\ln X_{i}]=\psi (K\alpha +1)-\psi (\alpha +1)}$

Agregación

Si

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K})}$

entonces, si las variables aleatorias con subíndices i y j se eliminan del vector y se reemplazan por su suma,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{i}+\alpha _{j},\ldots ,\alpha _{K}).}$

Esta propiedad de agregación se puede utilizar para derivar la distribución marginal mencionada anteriormente. ${\displaystyle X_{i}}$

Neutralidad

Si , entonces se dice que el vector  X es neutro ^[15] en el sentido de que X _K es independiente de ^[3] donde ${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} ({\boldsymbol {\alpha }})}$ ${\displaystyle X^{(-K)}}$

${\displaystyle X^{(-K)}=\left({\frac {X_{1}}{1-X_{K}}},{\frac {X_{2}}{1-X_{K}}},\ldots ,{\frac {X_{K-1}}{1-X_{K}}}\right),}$

y de manera similar para eliminar cualquiera de . Observe que cualquier permutación de X también es neutral (una propiedad que no poseen las muestras extraídas de una distribución de Dirichlet generalizada ). ^[16] ${\displaystyle X_{2},\ldots ,X_{K-1}}$

Combinando esto con la propiedad de agregación se deduce que X _j + ... + X _K es independiente de . De hecho, es cierto, además, para la distribución de Dirichlet, que para , el par , y los dos vectores y , vistos como triples de vectores aleatorios normalizados, son mutuamente independientes . El resultado análogo es cierto para la partición de los índices {1,2,..., K } en cualquier otro par de subconjuntos no singleton. ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle 3\leq j\leq K-1}$ ${\displaystyle \left(X_{1}+\cdots +X_{j-1},X_{j}+\cdots +X_{K}\right)}$ ${\displaystyle \left({\frac {X_{1}}{X_{1}+\cdots +X_{j-1}}},{\frac {X_{2}}{X_{1}+\cdots +X_{j-1}}},\ldots ,{\frac {X_{j-1}}{X_{1}+\cdots +X_{j-1}}}\right)}$ ${\displaystyle \left({\frac {X_{j}}{X_{j}+\cdots +X_{K}}},{\frac {X_{j+1}}{X_{j}+\cdots +X_{K}}},\ldots ,{\frac {X_{K}}{X_{j}+\cdots +X_{K}}}\right)}$

Función característica

La función característica de la distribución de Dirichlet es una forma confluente de la serie hipergeométrica de Lauricella . Phillips la define como ^[17]

${\displaystyle CF\left(s_{1},\ldots ,s_{K-1}\right)=\operatorname {E} \left(e^{i\left(s_{1}X_{1}+\cdots +s_{K-1}X_{K-1}\right)}\right)=\Psi ^{\left[K-1\right]}(\alpha _{1},\ldots ,\alpha _{K-1};\alpha _{0};is_{1},\ldots ,is_{K-1})}$

dónde

${\displaystyle \Psi ^{[m]}(a_{1},\ldots ,a_{m};c;z_{1},\ldots z_{m})=\sum {\frac {(a_{1})_{k_{1}}\cdots (a_{m})_{k_{m}}\,z_{1}^{k_{1}}\cdots z_{m}^{k_{m}}}{(c)_{k}\,k_{1}!\cdots k_{m}!}}.}$

La suma se realiza sobre números enteros no negativos y . Phillips continúa afirmando que esta forma es "inconveniente para el cálculo numérico" y ofrece una alternativa en términos de una integral de trayectoria compleja : ${\displaystyle k_{1},\ldots ,k_{m}}$ ${\displaystyle k=k_{1}+\cdots +k_{m}}$

${\displaystyle \Psi ^{[m]}={\frac {\Gamma (c)}{2\pi i}}\int _{L}e^{t}\,t^{a_{1}+\cdots +a_{m}-c}\,\prod _{j=1}^{m}(t-z_{j})^{-a_{j}}\,dt}$

donde L denota cualquier camino en el plano complejo que se origina en , rodea en dirección positiva todas las singularidades del integrando y regresa a . ${\displaystyle -\infty }$ ${\displaystyle -\infty }$

Desigualdad

La función de densidad de probabilidad juega un papel clave en una desigualdad multifuncional que implica varios límites para la distribución de Dirichlet. ^[18] ${\displaystyle f\left(x_{1},\ldots ,x_{K-1};\alpha _{1},\ldots ,\alpha _{K}\right)}$

Distribuciones relacionadas

Para distribuciones gamma distribuidas independientemente de K :

${\displaystyle Y_{1}\sim \operatorname {Gamma} (\alpha _{1},\theta ),\ldots ,Y_{K}\sim \operatorname {Gamma} (\alpha _{K},\theta )}$

tenemos: ^{[19] : 402}

${\displaystyle V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} \left(\alpha _{0},\theta \right),}$

${\displaystyle X=(X_{1},\ldots ,X_{K})=\left({\frac {Y_{1}}{V}},\ldots ,{\frac {Y_{K}}{V}}\right)\sim \operatorname {Dir} \left(\alpha _{1},\ldots ,\alpha _{K}\right).}$

Aunque las X _i no son independientes entre sí, se puede ver que se generan a partir de un conjunto de K variables aleatorias gamma independientes . ^{[19] : 594} Desafortunadamente, dado que la suma V se pierde al formar X (de hecho, se puede demostrar que V es estocásticamente independiente de X ), no es posible recuperar las variables aleatorias gamma originales a partir de estos valores solos. Sin embargo, debido a que es más simple trabajar con variables aleatorias independientes, esta reparametrización aún puede ser útil para pruebas sobre propiedades de la distribución de Dirichlet.

Prior conjugado de la distribución de Dirichlet

Debido a que la distribución de Dirichlet es una distribución familiar exponencial, tiene una distribución conjugada a priori. La distribución conjugada a priori tiene la forma: ^[20]

${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )\propto \left({\frac {1}{\operatorname {B} ({\boldsymbol {\alpha }})}}\right)^{\eta }\exp \left(-\sum _{k}v_{k}\alpha _{k}\right).}$

Aquí hay un vector real de dimensión K y es un parámetro escalar. El dominio de está restringido al conjunto de parámetros para los cuales se puede normalizar la función de densidad no normalizada anterior. La condición (necesaria y suficiente) es: ^[21] ${\displaystyle {\boldsymbol {v}}}$ ${\displaystyle \eta }$ ${\displaystyle ({\boldsymbol {v}},\eta )}$

${\displaystyle \forall k\;\;v_{k}>0\;\;\;\;{\text{ and }}\;\;\;\;\eta >-1\;\;\;\;{\text{ and }}\;\;\;\;(\eta \leq 0\;\;\;\;{\text{ or }}\;\;\;\;\sum _{k}\exp -{\frac {v_{k}}{\eta }}<1)}$

La propiedad de conjugación se puede expresar como

si [ prior : ] y [ observación : ] entonces [ posterior : ]. ${\displaystyle {\boldsymbol {\alpha }}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}},\eta )}$ ${\displaystyle {\boldsymbol {x}}\mid {\boldsymbol {\alpha }}\sim \operatorname {Dirichlet} (\cdot \mid {\boldsymbol {\alpha }})}$ ${\displaystyle {\boldsymbol {\alpha }}\mid {\boldsymbol {x}}\sim \operatorname {CD} (\cdot \mid {\boldsymbol {v}}-\log {\boldsymbol {x}},\eta +1)}$

En la literatura publicada no existe un algoritmo práctico para generar eficientemente muestras de . ${\displaystyle \operatorname {CD} ({\boldsymbol {\alpha }}\mid {\boldsymbol {v}},\eta )}$

Ocurrencia y aplicaciones

Modelos bayesianos

Las distribuciones de Dirichlet se utilizan con mayor frecuencia como distribución previa de variables categóricas o variables multinomiales en modelos de mezcla bayesianos y otros modelos bayesianos jerárquicos . (En muchos campos, como en el procesamiento del lenguaje natural , las variables categóricas suelen denominarse de manera imprecisa "variables multinomiales". Es poco probable que este uso cause confusión, al igual que cuando se confunden comúnmente las distribuciones de Bernoulli y las distribuciones binomiales ).

La inferencia sobre modelos bayesianos jerárquicos se realiza a menudo utilizando el muestreo de Gibbs y, en tal caso, las instancias de la distribución de Dirichlet suelen marginarse del modelo mediante la integración de la variable aleatoria de Dirichlet . Esto hace que las diversas variables categóricas extraídas de la misma variable aleatoria de Dirichlet se correlacionen y la distribución conjunta sobre ellas asuma una distribución multinomial de Dirichlet , condicionada a los hiperparámetros de la distribución de Dirichlet (los parámetros de concentración ). Una de las razones para hacer esto es que el muestreo de Gibbs de la distribución multinomial de Dirichlet es extremadamente fácil; consulte ese artículo para obtener más información.

Interpretaciones intuitivas de los parámetros

El parámetro de concentración

Las distribuciones de Dirichlet se utilizan muy a menudo como distribuciones previas en la inferencia bayesiana . El tipo más simple y quizás el más común de distribución previa de Dirichlet es la distribución de Dirichlet simétrica, donde todos los parámetros son iguales. Esto corresponde al caso en el que no se tiene información previa para favorecer un componente sobre cualquier otro. Como se describió anteriormente, el valor único α al que se fijan todos los parámetros se llama parámetro de concentración . Si el espacio muestral de la distribución de Dirichlet se interpreta como una distribución de probabilidad discreta , entonces intuitivamente se puede pensar que el parámetro de concentración determina cuán "concentrada" está la masa de probabilidad de la distribución de Dirichlet en su centro, lo que lleva a muestras con masa dispersa casi por igual entre todos los componentes, es decir, con un valor mucho menor que 1, la masa estará altamente concentrada en unos pocos componentes, y todos los demás casi no tendrán masa, y con un valor mucho mayor que 1, la masa se dispersará casi por igual entre todos los componentes. Consulte el artículo sobre el parámetro de concentración para obtener más información.

Corte de cuerdas

Un ejemplo de uso de la distribución de Dirichlet es si uno quisiera cortar cuerdas (cada una de longitud inicial 1.0) en K piezas con diferentes longitudes, donde cada pieza tuviera una longitud promedio designada, pero permitiendo cierta variación en los tamaños relativos de las piezas. Recuerde que Los valores especifican las longitudes medias de las piezas cortadas de la cuerda resultantes de la distribución. La varianza alrededor de esta media varía inversamente con . ${\displaystyle \alpha _{0}=\sum _{i=1}^{K}\alpha _{i}.}$ ${\displaystyle \alpha _{i}/\alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Ejemplo de distribución de Dirichlet (1/2,1/3,1/6)

La urna de Pólya

Consideremos una urna que contiene bolas de K colores diferentes. Inicialmente, la urna contiene α ₁ bolas del color 1, α ₂ bolas del color 2, y así sucesivamente. Ahora realice N extracciones de la urna, donde después de cada extracción, la bola se coloca nuevamente en la urna con una bola adicional del mismo color. En el límite, cuando N se acerca al infinito, las proporciones de bolas de diferentes colores en la urna se distribuirán como Dir( α ₁ ,..., α _K ). ^[22]

Para una prueba formal, observe que las proporciones de las bolas de diferentes colores forman una martingala acotada con valor ^K [0,1] , por lo tanto, por el teorema de convergencia de la martingala , estas proporciones convergen casi con seguridad y en promedio a un vector aleatorio límite. Para ver que este vector límite tiene la distribución de Dirichlet anterior, verifique que todos los momentos mixtos concuerden.

Cada extracción de la urna modifica la probabilidad de extraer una bola de cualquier color de la urna en el futuro. Esta modificación disminuye con el número de extracciones, ya que el efecto relativo de añadir una nueva bola a la urna disminuye a medida que la urna acumula un número creciente de bolas.

Generación de variables aleatorias

De la distribución gamma

Con una fuente de variables aleatorias distribuidas en Gamma, se puede muestrear fácilmente un vector aleatorio de la distribución de Dirichlet K -dimensional con parámetros . Primero, extraiga K muestras aleatorias independientes de distribuciones Gamma, cada una con densidad ${\displaystyle x=(x_{1},\ldots ,x_{K})}$ ${\displaystyle (\alpha _{1},\ldots ,\alpha _{K})}$ ${\displaystyle y_{1},\ldots ,y_{K}}$

${\displaystyle \operatorname {Gamma} (\alpha _{i},1)={\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!}$

y luego establecer

${\displaystyle x_{i}={\frac {y_{i}}{\sum _{j=1}^{K}y_{j}}}.}$

[Prueba]

La distribución conjunta de las variables gamma muestreadas independientemente, , viene dada por el producto: ${\displaystyle \{y_{i}\}}$

${\displaystyle e^{-\sum _{i}y_{i}}\prod _{i=1}^{K}{\frac {y_{i}^{\alpha _{i}-1}}{\Gamma (\alpha _{i})}}}$

A continuación, se utiliza un cambio de variables, parametrizando en términos de y , y se realiza un cambio de variables de tal que . Cada una de las variables y asimismo . A continuación, se debe utilizar la fórmula de cambio de variables, en la que es la transformación jacobiana. Al escribir y explícitamente como una función de x, se obtiene La jacobiana ahora se ve así ${\displaystyle \{y_{i}\}}$ ${\displaystyle y_{1},y_{2},\ldots ,y_{K-1}}$ ${\displaystyle \sum _{i=1}^{K}y_{i}}$ ${\displaystyle y\to x}$ ${\displaystyle {\bar {x}}=\textstyle \sum _{i=1}^{K}y_{i},x_{1}={\frac {y_{1}}{\bar {x}}},x_{2}={\frac {y_{2}}{\bar {x}}},\ldots ,x_{K-1}={\frac {y_{K-1}}{\bar {x}}}}$ ${\displaystyle 0\leq x_{1},x_{2},\ldots ,x_{k-1}\leq 1}$ ${\displaystyle 0\leq \textstyle \sum _{i=1}^{K-1}x_{i}\leq 1}$ ${\displaystyle P(x)=P(y(x)){\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle {\bigg |}{\frac {\partial y}{\partial x}}{\bigg |}}$ ${\displaystyle y_{1}={\bar {x}}x_{1},y_{2}={\bar {x}}x_{2}\ldots y_{K-1}={\bar {x}}x_{K-1},y_{K}={\bar {x}}(1-\textstyle \sum _{i=1}^{K-1}x_{i})}$

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\-{\bar {x}}&-{\bar {x}}&\ldots &1-\sum _{i=1}^{K-1}x_{i}\end{vmatrix}}}$

El determinante se puede evaluar observando que permanece inalterado si se suman múltiplos de una fila a otra fila, y agregando cada una de las primeras K-1 filas a la fila inferior para obtener

${\displaystyle {\begin{vmatrix}{\bar {x}}&0&\ldots &x_{1}\\0&{\bar {x}}&\ldots &x_{2}\\\vdots &\vdots &\ddots &\vdots \\0&0&\ldots &1\end{vmatrix}}}$

que se puede desarrollar sobre la fila inferior para obtener el valor del determinante . Sustituyendo x en la función de densidad de probabilidad conjunta e incluyendo el determinante jacobiano, se obtiene: ${\displaystyle {\bar {x}}^{K-1}}$

${\displaystyle {\begin{aligned}&{\frac {\left[\prod _{i=1}^{K-1}({\bar {x}}x_{i})^{\alpha _{i}-1}\right]\left[{\bar {x}}(1-\sum _{i=1}^{K-1}x_{i})\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}{\bar {x}}^{K-1}e^{-{\bar {x}}}\\=&{\frac {\Gamma ({\bar {\alpha }})\left[\prod _{i=1}^{K-1}(x_{i})^{\alpha _{i}-1}\right]\left[1-\sum _{i=1}^{K-1}x_{i}\right]^{\alpha _{K}-1}}{\prod _{i=1}^{K}\Gamma (\alpha _{i})}}\times {\frac {{\bar {x}}^{{\bar {\alpha }}_{i}-1}e^{-{\bar {x}}}}{\Gamma ({\bar {\alpha }})}}\end{aligned}}}$

donde . El lado derecho puede reconocerse como el producto de una función de densidad de probabilidad de Dirichlet para y una función de densidad de probabilidad gamma para . La forma del producto muestra que las variables de Dirichlet y gamma son independientes, por lo que la última puede integrarse simplemente omitiendola, para obtener: ${\displaystyle {\bar {\alpha }}=\textstyle \sum _{i=1}^{K}\alpha _{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle {\bar {x}}}$

${\displaystyle x_{1},x_{2},\ldots ,x_{K-1}\sim {\frac {(1-\sum _{i=1}^{K-1}x_{i})^{\alpha _{K}-1}\prod _{i=1}^{K-1}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$

Lo cual es equivalente a

${\displaystyle {\frac {\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}{B({\boldsymbol {\alpha }})}}}$con apoyo ${\displaystyle \sum _{i=1}^{K}x_{i}=1}$

A continuación se muestra un ejemplo de código Python para dibujar la muestra:

params  =  [ a1 ,  a2 ,  ... ,  ak ] muestra  =  [ random . gammavariate ( a ,  1 )  para  a  en  params ] muestra  =  [ v  /  suma ( muestra )  para  v  en  muestra ]

Esta formulación es correcta independientemente de cómo se parametricen las distribuciones Gamma (forma/escala vs. forma/tasa) porque son equivalentes cuando la escala y la tasa son iguales a 1,0.

De distribuciones beta marginales

Un algoritmo menos eficiente ^[23] se basa en que las distribuciones marginales y condicionales univariadas son beta y procede de la siguiente manera. Simular a partir de ${\displaystyle x_{1}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{1},\sum _{i=2}^{K}\alpha _{i}\right)}$

Luego simule en orden, de la siguiente manera. Para , simule desde ${\displaystyle x_{2},\ldots ,x_{K-1}}$ ${\displaystyle j=2,\ldots ,K-1}$ ${\displaystyle \phi _{j}}$

${\displaystyle {\textrm {Beta}}\left(\alpha _{j},\sum _{i=j+1}^{K}\alpha _{i}\right),}$

y dejar

${\displaystyle x_{j}=\left(1-\sum _{i=1}^{j-1}x_{i}\right)\phi _{j}.}$

Por último, establezca

${\displaystyle x_{K}=1-\sum _{i=1}^{K-1}x_{i}.}$

Este procedimiento iterativo corresponde estrechamente a la intuición de "corte de cuerdas" descrita anteriormente.

A continuación se muestra un ejemplo de código Python para dibujar la muestra:

params  =  [ a1 ,  a2 ,  ... ,  ak ] xs  =  [ random . betavariate ( params [ 0 ],  suma ( params [ 1 :]))] para  j  en  rango ( 1 ,  len ( params )  -  1 ):  phi  =  random . betavariate ( params [ j ],  suma ( params [ j  +  1  :]))  xs . append (( 1  -  suma ( xs ))  *  phi ) xs . append ( 1  -  suma ( xs ))

Cuando cada alfa es 1

Cuando α ₁ = ... = α _K = 1 , se puede encontrar una muestra de la distribución extrayendo aleatoriamente un conjunto de K − 1 valores de forma independiente y uniforme del intervalo [0, 1] , agregando los valores 0 y 1 al conjunto para que tenga K + 1 valores, ordenando el conjunto y calculando la diferencia entre cada par de valores adyacentes en orden, para obtener x ₁ , ..., x _K .

Cuando cada alfa es 1/2 y relación con la hiperesfera

Cuando α ₁ = ... = α _K = 1/2 , se puede encontrar una muestra de la distribución extrayendo aleatoriamente valores K independientemente de la distribución normal estándar, elevando al cuadrado estos valores y normalizándolos dividiéndolos por su suma, para obtener x ₁ , ..., x _K .

Se puede extraer un punto ( x ₁ , ..., x _K ) de manera uniforme y aleatoria de la hiperesfera ( K −1 )-dimensional (que es la superficie de una hiperesfera K -dimensional ) mediante un procedimiento similar. Extraiga aleatoriamente valores K independientemente de la distribución normal estándar y normalice estos valores de coordenadas dividiendo cada uno por la constante que es la raíz cuadrada de la suma de sus cuadrados.

Véase también

• Distribución de Dirichlet generalizada
• Distribución de Dirichlet agrupada
• Distribución de Dirichlet invertida
• Asignación latente de Dirichlet
• Proceso de Dirichlet
• Distribución de Dirichlet con matriz variable

Referencias

1. S. Kotz; N. Balakrishnan; NL Johnson (2000). Distribuciones multivariadas continuas. Volumen 1: Modelos y aplicaciones . Nueva York: Wiley. ISBN 978-0-471-18387-7.(Capítulo 49: Distribuciones de Dirichlet y Dirichlet invertida)
2. Olkin, Ingram; Rubin, Herman (1964). "Distribuciones beta multivariadas y propiedades de independencia de la distribución Wishart". Anales de estadística matemática . 35 (1): 261–269. doi : 10.1214/aoms/1177703748 . JSTOR  2238036.
3. Bela A. Frigyik; Amol Kapila; Maya R. Gupta (2010). "Introducción a la distribución de Dirichlet y procesos relacionados" (PDF) . Departamento de Ingeniería Eléctrica de la Universidad de Washington. Archivado desde el original (Informe técnico UWEETR-2010-006) el 19 de febrero de 2015.
4. Ec. (49.9) en la página 488 de Kotz, Balakrishnan y Johnson (2000). Distribuciones multivariadas continuas. Volumen 1: Modelos y aplicaciones. Nueva York: Wiley.
5. Balakrish V. B. (2005). ""Capítulo 27. Distribución de Dirichlet"". Una introducción a las distribuciones estadísticas . Hoboken, NJ: John Wiley & Sons, Inc. p. 274. ISBN 978-0-471-42798-8.
6. Dello Schiavo, Lorenzo (2019). "Funcionales característicos de las medidas de Dirichlet". Electron. J. Probab . 24 : 1–38. arXiv : 1810.09790 . doi : 10.1214/19-EJP371 – vía Project Euclid.
7. Dello Schiavo, Lorenzo; Quattrocchi, Filippo (2023). "Momentos de Dirichlet multivariados y una fórmula de muestreo policromática de Ewens". arXiv : 2309.11292 [matemáticas.PR].
8. Hoffmann, Till. «Momentos de la distribución de Dirichlet». Archivado desde el original el 14 de febrero de 2016. Consultado el 14 de febrero de 2016 .
9. Christopher M. Bishop (17 de agosto de 2006). Reconocimiento de patrones y aprendizaje automático. Springer. ISBN 978-0-387-31073-2.
10. Farrow, Malcolm. "MAS3301 Bayesian Statistics" (PDF) . Universidad de Newcastle . Consultado el 10 de abril de 2013 .
11. Lin, Jiayu (2016). Sobre la distribución de Dirichlet (PDF) . Kingston, Canadá: Queen's University. pp. § 2.4.9.
12. Nguyen, Duy. "UNA INTRODUCCIÓN EN PROFUNDIDAD A LA NOTA VARIACIONAL DE BAYES". SSRN  4541076 . Consultado el 15 de agosto de 2023 .
13. Song, Kai-Sheng (2001). "Información de Rényi, log-verosimilitud y una medida de distribución intrínseca". Revista de planificación e inferencia estadística . 93 (325). Elsevier: 51–69. doi :10.1016/S0378-3758(00)00169-5.
14. Nemenman, Ilya; Shafee, Fariel; Bialek, William (2002). Entropía e inferencia, revisitada (PDF) . NIPS 14., ecuación 8
15. Connor, Robert J.; Mosimann, James E (1969). "Conceptos de independencia para proporciones con una generalización de la distribución de Dirichlet". Revista de la Asociación Estadounidense de Estadística . 64 (325). Asociación Estadounidense de Estadística: 194–206. doi :10.2307/2283728. JSTOR  2283728.
16. Véase Kotz, Balakrishnan y Johnson (2000), Sección 8.5, "Generalización de Connor y Mosimann", págs. 519-521.
17. Phillips, PCB (1988). "La función característica de la distribución F de Dirichlet y multivariada" (PDF) . Documento de debate de la Fundación Cowles n.º 865 .
18. Grinshpan, AZ (2017). "Una desigualdad para convoluciones múltiples con respecto a la medida de probabilidad de Dirichlet". Avances en Matemáticas Aplicadas . 82 (1): 102–119. doi : 10.1016/j.aam.2016.08.001 .
19. Devroye, Luc (1986). Generación de variables aleatorias no uniformes. Springer-Verlag. ISBN 0-387-96305-7.
20. Lefkimmiatis, Stamatios; Maragos, Petros; Papandreou, George (2009). "Inferencia bayesiana en modelos multiescala para estimación de intensidad de Poisson: aplicaciones a la eliminación de ruido de imágenes limitada por fotones". IEEE Transactions on Image Processing . 18 (8): 1724–1741. Bibcode :2009ITIP...18.1724L. doi :10.1109/TIP.2009.2022008. PMID  19414285. S2CID  859561.
21. Andreoli, Jean-Marc (2018). "Una distribución previa conjugada para la distribución de Dirichlet". arXiv : 1811.05266 [cs.LG].
22. Blackwell, David; MacQueen, James B. (1973). "Distribuciones de Ferguson a través de esquemas de urnas de Polya". Ann. Stat . 1 (2): 353–355. doi : 10.1214/aos/1176342372 .
23. A. Gelman; JB Carlin; HS Stern; DB Rubin (2003). Análisis de datos bayesianos (2.ª ed.). Chapman & Hall/CRC. págs. 582. ISBN 1-58488-388-X.

Enlaces externos

• "Distribución de Dirichlet", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Distribución de Dirichlet
• Cómo estimar los parámetros de la distribución compuesta de Dirichlet (distribución de Pólya) utilizando la expectativa-maximización (EM)
• Luc Devroye. "Generación de variables aleatorias no uniformes" . Consultado el 19 de octubre de 2019 .
• Medidas aleatorias de Dirichlet, método de construcción a través de variables aleatorias de Poisson compuestas y propiedades de intercambiabilidad de la distribución gamma resultante
• SciencesPo: Paquete R que contiene funciones para simular parámetros de la distribución de Dirichlet.