Distribución multinomial de Dirichlet

En teoría de la probabilidad y estadística , la distribución multinomial de Dirichlet es una familia de distribuciones de probabilidad multivariadas discretas sobre un soporte finito de números enteros no negativos. También se le llama distribución multinomial compuesta de Dirichlet ( DCM ) o distribución multivariada de Pólya (en honor a George Pólya ). Es una distribución de probabilidad compuesta , donde un vector de probabilidad p se extrae de una distribución de Dirichlet con un vector de parámetros , y una observación se extrae de una distribución multinomial con un vector de probabilidad p y un número de ensayos n . El vector de parámetros de Dirichlet captura la creencia previa sobre la situación y puede verse como un pseudorecuento: observaciones de cada resultado que ocurren antes de que se recopilen los datos reales. La composición corresponde al esquema de una urna de Pólya . Se encuentra con frecuencia en la estadística bayesiana , el aprendizaje automático , los métodos empíricos de Bayes y la estadística clásica como una distribución multinomial sobredispersada . ${\displaystyle {\boldsymbol {\alpha }}}$

Se reduce a la distribución categórica como un caso especial cuando n  = 1. También se aproxima arbitrariamente bien a la distribución multinomial para α grande . El multinomial de Dirichlet es una extensión multivariada de la distribución beta-binomial , ya que las distribuciones multinomial y Dirichlet son versiones multivariadas de la distribución binomial y las distribuciones beta , respectivamente.

Especificación

Multinomial de Dirichlet como distribución compuesta

La distribución de Dirichlet es una distribución conjugada de la distribución multinomial. Este hecho conduce a una distribución de compuestos analíticamente manejable . Para un vector aleatorio de recuentos de categorías , distribuido según una distribución multinomial , la distribución marginal se obtiene integrando la distribución para p , que puede considerarse como un vector aleatorio que sigue una distribución de Dirichlet: ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{K})}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})=\int _{\mathbf {p} }\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p} )\mathrm {Dir} (\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

lo que resulta en la siguiente fórmula explícita:

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {\Gamma \left(\alpha _{0}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}}$

donde se define como la suma . Otra forma para esta misma distribución compuesta, escrita de manera más compacta en términos de la función beta , B , es la siguiente: ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$

${\displaystyle \Pr(\mathbf {x} \mid n,{\boldsymbol {\alpha }})={\frac {nB\left(\alpha _{0},n\right)}{\prod _{k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.}$

La última forma enfatiza el hecho de que las categorías de conteo cero pueden ignorarse en el cálculo, un hecho útil cuando el número de categorías es muy grande y escaso (por ejemplo, conteos de palabras en documentos).

Observe que la fdp es la distribución Beta-binomial cuando . También se puede demostrar que se acerca a la distribución multinomial cuando se acerca al infinito. El parámetro gobierna el grado de sobredispersión o ráfaga en relación con el multinomial. Las opciones alternativas para denotar que se encuentran en la literatura son S y A. ${\displaystyle K=2}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$ ${\displaystyle \alpha _{0}}$

Multinomial de Dirichlet como modelo de urna

La distribución multinomial de Dirichlet también se puede motivar mediante un modelo de urna para valores enteros positivos del vector , conocido como modelo de urna de Polya . Específicamente, imaginemos una urna que contiene bolas de colores numeradas para el iésimo color, donde se realizan sorteos al azar. Cuando se extrae y observa una bola al azar, se devuelven dos bolas del mismo color a la urna. Si esto se realiza varias veces, entonces la probabilidad de observar el vector aleatorio de recuentos de colores es un multinomial de Dirichlet con parámetros y . Si los sorteos aleatorios son con reemplazo simple (no se agregan a la urna bolas por encima de la bola observada), entonces la distribución sigue una distribución multinomial y si los sorteos aleatorios se realizan sin reemplazo, la distribución sigue una distribución hipergeométrica multivariada . ${\displaystyle {\boldsymbol {\alpha }}}$ ${\displaystyle K}$ ${\displaystyle \alpha _{i}}$ ${\displaystyle n}$ ${\displaystyle x}$ ${\displaystyle n}$ ${\displaystyle {\boldsymbol {\alpha }}}$

Propiedades

Momentos

Una vez más, sea y sea , entonces el número esperado de veces que se observó el resultado i en n ensayos es ${\displaystyle \alpha _{0}=\sum \alpha _{k}}$ ${\displaystyle p_{i}={\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}}$

${\displaystyle \operatorname {E} (X_{i})=np_{i}=n{\frac {\alpha _{i}}{\alpha _{0}}}.\,}$

La matriz de covarianza es la siguiente. Cada entrada diagonal es la varianza de una variable aleatoria distribuida beta-binomialmente y, por lo tanto, es

${\displaystyle \operatorname {var} (X_{i})=np_{i}(1-p_{i})\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,}$

Las entradas fuera de la diagonal son las covarianzas :

${\displaystyle \operatorname {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right)\,}$

para i , j distintos.

Todas las covarianzas son negativas porque para n fijo , un aumento en un componente de un vector multinomial de Dirichlet requiere una disminución en otro componente.

Esta es una matriz semidefinida positiva K × K de rango K  − 1.

Las entradas de la matriz de correlación correspondiente son

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {cov} (X_{i},X_{j})}{\sqrt {\operatorname {var} (X_{i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{j}(1-p_{j})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})}}}=-{\sqrt {\frac {\alpha _{i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.}$

El tamaño de la muestra queda fuera de esta expresión.

Cada uno de los k componentes por separado tiene una distribución beta-binomial.

El soporte de la distribución multinomial de Dirichlet es el conjunto

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}|n_{1}+\cdots +n_{k}=n\}.\,}$

Su número de elementos es

${\displaystyle {n+k-1 \choose k-1}.}$

Notación matricial

En notación matricial,

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

y

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right),\,}$

con p ^T = el vector fila transpuesto del vector columna p . dejando

${\displaystyle \alpha _{0}={\frac {1-\rho ^{2}}{\rho ^{2}}}\,}$, podemos escribir alternativamente

${\displaystyle \operatorname {var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,}$

El parámetro se conoce como correlación "intra clase" o "intra grupo". Es esta correlación positiva la que da lugar a una sobredispersión en relación con la distribución multinomial. ${\displaystyle \rho \!}$

Agregación

Si

${\displaystyle X=(X_{1},\ldots ,X_{K})\sim \operatorname {DM} (\alpha _{1},\cdots ,\alpha _{K})}$

entonces, si las variables aleatorias con subíndices i y j se eliminan del vector y se reemplazan por su suma ^{[ cita necesaria ]} ,

${\displaystyle X'=(X_{1},\ldots ,X_{i}+X_{j},\ldots ,X_{K})\sim \operatorname {DM} \left(\alpha _{1},\cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).}$

Esta propiedad de agregación se puede utilizar para derivar la distribución marginal de . ${\displaystyle X_{i}}$

función de probabilidad

Conceptualmente, estamos haciendo N extracciones independientes de una distribución categórica con K categorías. Representemos los sorteos independientes como variables categóricas aleatorias para . Denotemos el número de veces que se ha visto una categoría particular (para ) entre todas las variables categóricas como , y . Entonces, tenemos dos puntos de vista separados sobre este problema: ${\displaystyle z_{n}}$ ${\displaystyle n=1\dots N}$ ${\displaystyle k}$ ${\displaystyle k=1\dots K}$ ${\displaystyle n_{k}}$ ${\displaystyle \sum _{k}n_{k}=N}$

1. Un conjunto de variables categóricas . ${\displaystyle N}$ ${\displaystyle z_{1},\dots ,z_{N}}$
2. Una única variable con valor vectorial , distribuida según una distribución multinomial . ${\displaystyle \mathbf {x} =(n_{1},\dots ,n_{K})}$

El primer caso es un conjunto de variables aleatorias que especifican cada resultado individual , mientras que el segundo es una variable que especifica el número de resultados de cada una de las K categorías. La distinción es importante, ya que los dos casos tienen correspondientemente diferentes distribuciones de probabilidad.

El parámetro de la distribución categórica es dónde está la probabilidad de extraer valor ; es también el parámetro de la distribución multinomial . En lugar de especificarlo directamente, le damos una distribución previa conjugada y, por lo tanto, se extrae de una distribución de Dirichlet con un vector de parámetros . ${\displaystyle \mathbf {p} =(p_{1},p_{2},\dots ,p_{K}),}$ ${\displaystyle p_{k}}$ ${\displaystyle k}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle P(\mathbf {x} |\mathbf {p} )}$ ${\displaystyle \mathbf {p} }$ ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\alpha _{2},\ldots ,\alpha _{K})}$

Integrando , obtenemos una distribución compuesta. Sin embargo, la forma de la distribución es diferente según el punto de vista que adoptemos. ${\displaystyle \mathbf {p} }$

Para un conjunto de resultados individuales

Distribución conjunta

Para variables categóricas , la distribución conjunta marginal se obtiene integrando : ${\displaystyle \mathbb {Z} =z_{1},\dots ,z_{N}}$ ${\displaystyle \mathbf {p} }$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\int _{\mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha }}){\textrm {d}}\mathbf {p} }$

lo que resulta en la siguiente fórmula explícita:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

¿Dónde está la función gamma , con ${\displaystyle \Gamma }$

${\displaystyle A=\sum _{k}\alpha _{k}{\text{ and }}N=\sum _{k}n_{k}{\text{, and where }}n_{k}={\text{number of }}z_{n}{\text{'s with the value }}k.}$

Tenga en cuenta la ausencia del coeficiente multinomial debido a que la fórmula trata sobre la probabilidad de una secuencia de variables categóricas en lugar de una probabilidad en los recuentos dentro de cada categoría.

Aunque las variables no aparecen explícitamente en la fórmula anterior, entran a través de los valores. ^{[ se necesita aclaración ]} ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle n_{k}}$

Distribución condicional

Otra fórmula útil, particularmente en el contexto del muestreo de Gibbs , pregunta cuál es la densidad condicional de una variable dada, condicionada a todas las demás variables (que denotaremos ). Resulta tener una forma extremadamente simple: ${\displaystyle z_{n}}$ ${\displaystyle \mathbb {Z} ^{(-n)}}$

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\propto n_{k}^{(-n)}+\alpha _{k}}$

donde especifica el número de recuentos de categoría vistos en todas las variables excepto . ${\displaystyle n_{k}^{(-n)}}$ ${\displaystyle k}$ ${\displaystyle z_{n}}$

Puede resultar útil mostrar cómo derivar esta fórmula. En general, las distribuciones condicionales son proporcionales a las correspondientes distribuciones conjuntas , por lo que simplemente comenzamos con la fórmula anterior para la distribución conjunta de todos los valores y luego eliminamos cualquier factor que no dependa del particular en cuestión. Para hacer esto, hacemos uso de la notación definida anteriormente, y ${\displaystyle z_{1},\dots ,z_{N}}$ ${\displaystyle z_{n}}$ ${\displaystyle n_{k}^{(-n)}}$

${\displaystyle n_{j}={\begin{cases}n_{j}^{(-n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{cases}}}$

También utilizamos el hecho de que

${\displaystyle \Gamma (n+1)=n\Gamma (n)}$

Entonces:

${\displaystyle {\begin{aligned}&\Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})\\\propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha }})\\=\ &\ {\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})}{\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\Gamma (n_{k}^{(-n)}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)}+\alpha _{k}\\\end{aligned}}}$

En general, no es necesario preocuparse por la constante de normalización al momento de derivar las ecuaciones para distribuciones condicionales. La constante de normalización se determinará como parte del algoritmo de muestreo de la distribución (consulte Distribución categórica#Muestreo ). Sin embargo, cuando la distribución condicional se escribe en la forma simple anterior, resulta que la constante de normalización asume una forma simple:

${\displaystyle \sum _{k}\left(n_{k}^{(-n)}+\alpha _{k}\right)=A+\sum _{k}n_{k}^{(-n)}=A+N-1}$

Por eso

${\displaystyle \Pr(z_{n}=k\mid \mathbb {Z} ^{(-n)},{\boldsymbol {\alpha }})={\frac {n_{k}^{(-n)}+\alpha _{k}}{A+N-1}}}$

Esta fórmula está estrechamente relacionada con el proceso del restaurante chino , que resulta de tomar el límite como . ${\displaystyle K\to \infty }$

En una red bayesiana

En una red bayesiana más grande en la que se producen distribuciones categóricas (o las llamadas "multinomiales") con distribuciones anteriores de Dirichlet como parte de una red más grande, todas las distribuciones anteriores de Dirichlet se pueden colapsar siempre que los únicos nodos que dependen de ellos sean distribuciones categóricas. El colapso ocurre para cada nodo de distribución de Dirichlet por separado de los demás, y ocurre independientemente de cualquier otro nodo que pueda depender de las distribuciones categóricas. También ocurre independientemente de si las distribuciones categóricas dependen de nodos adicionales a los anteriores de Dirichlet (aunque en tal caso, esos otros nodos deben permanecer como factores condicionantes adicionales). Esencialmente, todas las distribuciones categóricas que dependen de un nodo de distribución de Dirichlet determinado se conectan en una única distribución conjunta multinomial de Dirichlet definida por la fórmula anterior. La distribución conjunta definida de esta manera dependerá de los padres de los nodos anteriores de Dirichlet integrados, así como de cualquier padre de los nodos categóricos distintos de los propios nodos anteriores de Dirichlet.

En las siguientes secciones, analizamos diferentes configuraciones que se encuentran comúnmente en las redes bayesianas. Repetimos la densidad de probabilidad desde arriba y la definimos usando el símbolo : ${\displaystyle \operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})}$

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\operatorname {DirMult} (\mathbb {Z} \mid {\boldsymbol {\alpha }})={\frac {\Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

Múltiples antecedentes de Dirichlet con el mismo hiperprior

Imaginemos que tenemos un modelo jerárquico de la siguiente manera:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\end{array}}}$

En casos como este, tenemos múltiples antecedentes de Dirichet, cada uno de los cuales genera una cierta cantidad de observaciones categóricas (posiblemente un número diferente para cada anterior). El hecho de que todos dependan del mismo hiperprior, incluso si se trata de una variable aleatoria como arriba, no hace ninguna diferencia. El efecto de integrar un prior de Dirichlet vincula las variables categóricas adjuntas a ese prior, cuya distribución conjunta simplemente hereda cualquier factor condicionante del prior de Dirichlet. El hecho de que varios antecedentes puedan compartir un hiperprior no hace ninguna diferencia:

${\displaystyle \Pr(\mathbb {Z} \mid {\boldsymbol {\alpha }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})}$

donde es simplemente la colección de variables categóricas que dependen de d anterior . ${\displaystyle \mathbb {Z} _{d}}$

En consecuencia, la distribución de probabilidad condicional se puede escribir de la siguiente manera:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},{\boldsymbol {\alpha }})\ \propto \ n_{k,d}^{(-n)}+\alpha _{k}}$

donde específicamente significa el número de variables del conjunto , excluyéndose a sí misma, que tienen el valor . ${\displaystyle n_{k,d}^{(-n)}}$ ${\displaystyle \mathbb {Z} _{d}}$ ${\displaystyle z_{dn}}$ ${\displaystyle k}$

Es necesario contar sólo las variables que tienen el valor k y que están ligadas a la variable en cuestión por tener la misma prioridad. No queremos contar ninguna otra variable que también tenga el valor k .

Múltiples antecedentes de Dirichlet con el mismo hiperprior, con hijos dependientes

Ahora imagine un modelo jerárquico un poco más complicado como el siguiente:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{some other distribution}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})\end{array}}}$

Este modelo es el mismo que el anterior, pero además, cada una de las variables categóricas tiene una variable secundaria que depende de ella. Esto es típico de un modelo mixto .

Nuevamente, en la distribución conjunta, solo las variables categóricas que dependen del mismo prior están vinculadas en un único multinomio de Dirichlet:

${\displaystyle \Pr(\mathbb {Z} ,\mathbb {W} \mid {\boldsymbol {\alpha }},{\boldsymbol {\phi }})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha }})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

La distribución condicional de las variables categóricas que dependen únicamente de sus padres y antepasados ​​tendría la misma forma que la anterior en el caso más simple. Sin embargo, en el muestreo de Gibbs es necesario determinar la distribución condicional de un nodo dado que depende no sólo de ancestros como sino de todos los demás parámetros. ${\displaystyle z_{dn}}$ ${\displaystyle \mathbb {Z} ^{(-dn)}}$ ${\displaystyle \alpha }$

La expresión simplificada para la distribución condicional se obtiene arriba simplemente reescribiendo la expresión para la probabilidad conjunta y eliminando factores constantes. Por lo tanto, la misma simplificación se aplicaría en una expresión de probabilidad conjunta más grande como la de este modelo, compuesta por densidades multinomiales de Dirichlet más factores para muchas otras variables aleatorias que dependen de los valores de las variables categóricas.

Esto produce lo siguiente:

${\displaystyle \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha }},{\boldsymbol {\phi }})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi }})}$

Aquí la densidad de probabilidad de aparece directamente. Para realizar un muestreo aleatorio sobre , calcularíamos las probabilidades no normalizadas para todas las K posibilidades de usar la fórmula anterior, luego las normalizaríamos y procederíamos normalmente usando el algoritmo descrito en el artículo sobre distribución categórica . ${\displaystyle \operatorname {F} }$ ${\displaystyle z_{dn}}$ ${\displaystyle z_{dn}}$

Hablando correctamente, el factor adicional que aparece en la distribución condicional no se deriva de la especificación del modelo sino directamente de la distribución conjunta. Esta distinción es importante cuando se consideran modelos en los que un nodo determinado con un padre anterior a Dirichlet tiene múltiples hijos dependientes, particularmente cuando esos hijos dependen entre sí (por ejemplo, si comparten un padre que está colapsado). Esto se analiza más a continuación.

Múltiples antecedentes de Dirichlet con membresía anterior cambiante

Ahora imaginemos que tenemos un modelo jerárquico como el siguiente:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\theta }}&\sim &{\text{some distribution}}\\z_{n=1\dots N}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }})\\{\boldsymbol {\alpha }}&\sim &{\text{some distribution}}\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\alpha }})\\w_{n=1\dots N}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{n}})\\\end{array}}}$

Aquí tenemos una situación complicada en la que tenemos múltiples antecedentes de Dirichlet como antes y un conjunto de variables categóricas dependientes, pero la relación entre los antecedentes y las variables dependientes no es fija, a diferencia de antes. En cambio, la elección de cuál antes de su uso depende de otra variable categórica aleatoria. Esto ocurre, por ejemplo, en los modelos temáticos y, de hecho, los nombres de las variables anteriores deben corresponder a los de la asignación latente de Dirichlet . En este caso, el conjunto es un conjunto de palabras, cada una de las cuales se extrae de uno de los temas posibles, donde cada tema es un Dirichlet previo a un vocabulario de palabras posibles, especificando la frecuencia de diferentes palabras en el tema. Sin embargo, la pertenencia al tema de una palabra determinada no es fija; más bien, se determina a partir de un conjunto de variables latentes . Hay una variable latente por palabra, una variable categórica dimensional que especifica el tema al que pertenece la palabra. ${\displaystyle \mathbb {W} }$ ${\displaystyle K}$ ${\displaystyle V}$ ${\displaystyle \mathbb {Z} }$ ${\displaystyle K}$

En este caso, todas las variables que dependen de un tema anterior determinado están unidas (es decir, correlacionadas ) en un grupo, como antes; específicamente, todas las palabras que pertenecen a un tema determinado están vinculadas. En este caso, sin embargo, la pertenencia al grupo cambia, en el sentido de que las palabras no están fijadas a un tema determinado sino que el tema depende del valor de una variable latente asociada con la palabra. Sin embargo, la definición de la densidad multinomial de Dirichlet en realidad no depende del número de variables categóricas en un grupo (es decir, el número de palabras en el documento generado a partir de un tema determinado), sino sólo de la cantidad de variables en el grupo tiene un valor determinado (es decir, entre todos los tokens de palabras generados a partir de un tema determinado, cuántos de ellos son una palabra determinada). Por tanto, todavía podemos escribir una fórmula explícita para la distribución conjunta:

${\displaystyle \Pr(\mathbb {W} \mid {\boldsymbol {\alpha }},\mathbb {Z} )=\prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha }})=\prod _{k=1}^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^{k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v})}{\Gamma (\alpha _{v})}}\right]}$

Aquí usamos la notación para indicar el número de tokens de palabras cuyo valor es el símbolo de palabra v y que pertenecen al tema k . ${\displaystyle n_{v}^{k}}$

La distribución condicional todavía tiene la misma forma:

${\displaystyle \Pr(w_{n}=v\mid \mathbb {W} ^{(-n)},\mathbb {Z} ,{\boldsymbol {\alpha }})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}}$

Aquí nuevamente, sólo se vinculan las variables categóricas de las palabras que pertenecen a un tema determinado (aunque este vínculo dependerá de las asignaciones de las variables latentes) y, por lo tanto, el recuento de palabras debe abarcar únicamente las palabras generadas por un tema determinado. De ahí el símbolo , que es el recuento de tokens de palabras que tienen el símbolo de palabra v , pero solo entre los generados por el tema k , y excluyendo la palabra misma cuya distribución se describe. ${\displaystyle n_{v}^{k,(-n)}}$

(La razón por la que es necesario excluir la palabra en sí, y por la que incluso tiene sentido, es que en un contexto de muestreo de Gibbs , volvemos a muestrear repetidamente los valores de cada variable aleatoria, después de haber analizado y muestreado todas las variables anteriores. De ahí la La variable ya tendrá un valor y debemos excluir este valor existente de los distintos recuentos que utilizamos).

Un ejemplo combinado: modelos temáticos LDA

Ahora mostramos cómo combinar algunos de los escenarios anteriores para demostrar cómo Gibbs toma muestras de un modelo del mundo real, específicamente un modelo de tema de asignación latente de Dirichlet (LDA) suavizado .

El modelo es el siguiente:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{dn}})\\\end{array}}}$

Básicamente, combinamos los tres escenarios anteriores: tenemos variables categóricas que dependen de múltiples antecedentes que comparten un hiperprior; tenemos variables categóricas con hijos dependientes (la variable latente identidades temáticas); y tenemos variables categóricas con membresía cambiante en múltiples antecedentes que comparten un hiperprior. En el modelo LDA estándar, las palabras se observan completamente y, por lo tanto, nunca necesitamos volver a muestrearlas. (Sin embargo, el muestreo de Gibbs sería igualmente posible si sólo se observara alguna o ninguna de las palabras. En tal caso, querríamos inicializar la distribución sobre las palabras de alguna manera razonable, por ejemplo, a partir de la salida de algún proceso que genere oraciones. , como un modelo de traducción automática , para que las distribuciones de variables latentes posteriores resultantes tengan algún sentido).

Usando las fórmulas anteriores, podemos escribir las probabilidades condicionales directamente:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &(\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\\\end{array}}}$

Aquí hemos definido los recuentos de forma más explícita para separar claramente los recuentos de palabras y los recuentos de temas:

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among topic }}k{\text{ excluding }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{number of topics having value }}k{\text{ among document }}d{\text{ excluding }}z_{dn}\\\end{array}}}$

Como en el escenario anterior con variables categóricas con hijos dependientes, la probabilidad condicional de esos hijos dependientes aparece en la definición de la probabilidad condicional de los padres. En este caso, cada variable latente tiene solo una palabra secundaria dependiente, por lo que solo aparece uno de esos términos. (Si hubiera varios hijos dependientes, todos tendrían que aparecer en la probabilidad condicional de los padres, independientemente de si hubo superposición entre diferentes padres y los mismos hijos, es decir, independientemente de si los hijos dependientes de un padre determinado también tienen otros padres. En En un caso en el que un niño tiene varios padres, la probabilidad condicional de ese niño aparece en la definición de probabilidad condicional de cada uno de sus padres.)

La definición anterior especifica sólo la probabilidad condicional no normalizada de las palabras, mientras que la probabilidad condicional del tema requiere la probabilidad real (es decir, normalizada). Por lo tanto, tenemos que normalizar sumando todos los símbolos de palabras:

${\displaystyle {\begin{array}{rcl}\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha }})\ &\propto \ &{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v'})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}}\end{array}}}$

dónde

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} ^{k}&=&{\text{number of words generated by topic }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}}$

También vale la pena hacer otro comentario en detalle, que se refiere al segundo factor mencionado anteriormente en la probabilidad condicional. Recuerde que la distribución condicional en general se deriva de la distribución conjunta y se simplifica eliminando términos que no dependen del dominio del condicional (la parte del lado izquierdo de la barra vertical). Cuando un nodo tiene hijos dependientes, habrá uno o más factores en la distribución conjunta que dependerán de . Generalmente hay un factor para cada nodo dependiente y tiene la misma función de densidad que la distribución que aparece en la definición matemática. Sin embargo, si un nodo dependiente también tiene otro padre (un co-padre), y ese co-padre se colapsa, entonces el nodo se volverá dependiente de todos los demás nodos que comparten ese co-padre, y en lugar de múltiples términos para cada uno de estos nodos, la distribución conjunta tendrá solo un término conjunto. Tenemos exactamente esa situación aquí. Aunque solo tiene un hijo , ese niño tiene un co-padre de Dirichlet que hemos colapsado, lo que induce un multinomial de Dirichlet en todo el conjunto de nodos . ${\displaystyle z}$ ${\displaystyle \operatorname {F} (\dots \mid z)}$ ${\displaystyle z}$ ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$ ${\displaystyle \mathbb {W} ^{k}}$

Sucede en este caso que este tema no causa mayores problemas, precisamente por la relación uno a uno entre y . Podemos reescribir la distribución conjunta de la siguiente manera: ${\displaystyle z_{dn}}$ ${\displaystyle w_{dn}}$

${\displaystyle {\begin{array}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^{k,(-dn)},z_{dn})\end{array}}}$

donde en el conjunto (es decir, el conjunto de nodos excluyendo ), ninguno de los nodos tiene como padre. Por lo tanto, puede eliminarse como factor condicionante (línea 2), lo que significa que todo el factor puede eliminarse de la distribución condicional (línea 3). ${\displaystyle \mathbb {W} ^{k,(-dn)}}$ ${\displaystyle \mathbb {W} ^{k}}$ ${\displaystyle w_{dn}}$ ${\displaystyle z_{dn}}$

Un segundo ejemplo: agrupación de documentos Naive Bayes

He aquí otro modelo, con un conjunto diferente de cuestiones. Esta es una implementación de un modelo Naive Bayes no supervisado para la agrupación de documentos. Es decir, nos gustaría clasificar los documentos en múltiples categorías (por ejemplo, " spam " o "no spam", o "artículo de revista científica", "artículo de periódico sobre finanzas", "artículo de periódico sobre política", "carta de amor") basado en contenido textual. Sin embargo, aún no conocemos la categoría correcta de ningún documento; en cambio, queremos agruparlos en función de similitudes mutuas. (Por ejemplo, un conjunto de artículos científicos tenderán a ser similares entre sí en el uso de palabras, pero muy diferentes de un conjunto de cartas de amor). Este es un tipo de aprendizaje no supervisado . (Se puede utilizar la misma técnica para realizar aprendizaje semisupervisado , es decir, cuando conocemos la categoría correcta de alguna fracción de los documentos y nos gustaría utilizar este conocimiento para ayudar a agrupar los documentos restantes).

El modelo es el siguiente:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\alpha }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, either a constant or a random variable}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha }})\\{\boldsymbol {\phi }}_{k=1\dots K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta }})\\z_{d=1\dots M}&\sim &\operatorname {Categorical} _{K}({\boldsymbol {\theta }}_{d})\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {Categorical} _{V}({\boldsymbol {\phi }}_{z_{d}})\\\end{array}}}$

En muchos sentidos, este modelo es muy similar al modelo de temas LDA descrito anteriormente, pero asume un tema por documento en lugar de un tema por palabra, con un documento que consta de una combinación de temas. Esto se puede ver claramente en el modelo anterior, que es idéntico al modelo LDA excepto que solo hay una variable latente por documento en lugar de una por palabra. Una vez más, asumimos que estamos colapsando todos los antecedentes de Dirichlet.

La probabilidad condicional de una palabra determinada es casi idéntica al caso LDA. Una vez más, todas las palabras generadas por el mismo Dirichlet anterior son interdependientes. En este caso, esto significa las palabras de todos los documentos que tienen una etiqueta determinada; nuevamente, esto puede variar según las asignaciones de etiquetas, pero lo único que nos importa es el recuento total. Por eso:

${\displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta }})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\end{array}}}$

dónde

${\displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{number of words having value }}v{\text{ among documents with label }}k{\text{ excluding }}w_{dn}\\\end{array}}}$

Sin embargo, existe una diferencia crítica en la distribución condicional de las variables latentes para las asignaciones de etiquetas, que es que una variable de etiqueta determinada tiene varios nodos secundarios en lugar de solo uno, en particular, los nodos para todas las palabras en el documento de la etiqueta. Esto se relaciona estrechamente con la discusión anterior sobre el factor que surge de la distribución conjunta. En este caso, la distribución conjunta debe abarcar todas las palabras de todos los documentos que contienen una asignación de etiqueta igual al valor de y tiene el valor de una distribución multinomial de Dirichlet. Además, no podemos reducir esta distribución conjunta a una distribución condicional sobre una sola palabra. Más bien, podemos reducirlo solo a una distribución condicional conjunta más pequeña sobre las palabras en el documento para la etiqueta en cuestión y, por lo tanto, no podemos simplificarlo usando el truco anterior que produce una suma simple del recuento esperado y el anterior. Aunque de hecho es posible reescribirlo como un producto de dichas sumas individuales, el número de factores es muy grande y no es claramente más eficiente que calcular directamente la probabilidad de distribución multinomial de Dirichlet. ${\displaystyle \operatorname {F} (\dots \mid z_{d})}$ ${\displaystyle z_{d}}$

Distribuciones relacionadas

La versión unidimensional de la distribución multinomial de Dirichlet se conoce como distribución Beta-binomial .

La distribución multinomial de Dirichlet tiene una relación con la distribución binomial negativa análoga a la relación de la distribución multinomial con la distribución de Poisson . ^[2]

Usos

La distribución multinomial de Dirichlet se utiliza en clasificación y agrupación automatizada de documentos, genética , economía , modelado de combate y marketing cuantitativo.

Ver también

• Distribución beta binomial
• proceso de restaurante chino
• Estrellas y barras (combinatoria)
• proceso de dirichlet
• Distribución de Dirichlet generalizada
• Estimador de Krichevsky-Trofimov
• Distribución multinomial negativa de Dirichlet

Referencias

Citas

1. Glüsenkamp, ​​T. (2018). "Tratamiento probabilístico de la incertidumbre a partir del tamaño finito de datos ponderados de Monte Carlo". EPJ Plus . 133 (6): 218. arXiv : 1712.01293 . Código Bib : 2018EPJP..133..218G. doi :10.1140/epjp/i2018-12042-x. S2CID  125665629.
2. Teorema 1 de Zhou, M. (2018). "Análisis de factores binomiales negativos bayesianos no paramétricos". Análisis bayesiano . 13 (4): 1065–1093. arXiv : 1604.07464 . doi : 10.1214/17-BA1070 .

Fuentes

• Elkan, C. (2006) Agrupación de documentos con una aproximación de familia exponencial de la distribución multinomial compuesta de Dirichlet. ICML, 289–296.
• Johnson, NL, Kotz, S. y Balakrishnan, N. (1997) Distribuciones multivariadas discretas (Vol. 165). Nueva York: Wiley.
• Kvam, P. y Day, D. (2001) La distribución multivariada de Polya en el modelado de combate. Logística de investigación naval, 48, 1–17.
• Madsen, RE, Kauchak, D. y Elkan, C. (2005) Modelado de la explosión de palabras utilizando la distribución de Dirichlet. ICML, 545–552.
• Minka, T. (2003) Estimación de una distribución de Dirichlet. Informe técnico Microsoft Research. Incluye código Matlab para ajustar distribuciones a los datos.
• Mosimann, JE (1962) Sobre la distribución multinomial compuesta, la distribución β multivariada y las correlaciones entre proporciones. Biometrika, 49(1–2), 65–82.
• Wagner, U. y Taudes, A. (1986) Un modelo Polya multivariado de elección de marca e incidencia de compra. Ciencias del marketing, 5(3), 219–244.