Proceso de Dirichlet

Familia de procesos estocásticos

Extracciones del proceso de Dirichlet . Las cuatro filas utilizan diferentes alfas (de arriba a abajo: 1, 10, 100 y 1000) y cada fila contiene tres repeticiones del mismo experimento. Como se ve en los gráficos, las extracciones de un proceso de Dirichlet son distribuciones discretas y se vuelven menos concentradas (más dispersas) a medida que aumenta . Los gráficos se generaron utilizando la vista del proceso de ruptura de barras del proceso de Dirichlet. ${\displaystyle \operatorname {DP} (N(0,1),\alpha )}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

En teoría de la probabilidad , los procesos de Dirichlet (por la distribución asociada con Peter Gustav Lejeune Dirichlet ) son una familia de procesos estocásticos cuyas realizaciones son distribuciones de probabilidad . En otras palabras, un proceso de Dirichlet es una distribución de probabilidad cuyo rango es en sí mismo un conjunto de distribuciones de probabilidad. Se utiliza a menudo en la inferencia bayesiana para describir el conocimiento previo sobre la distribución de variables aleatorias : qué tan probable es que las variables aleatorias se distribuyan de acuerdo con una u otra distribución particular.

Por ejemplo, una bolsa de 100 dados del mundo real es una función de masa de probabilidad aleatoria (función masa de probabilidad aleatoria): para obtener una muestra de esta función masa de probabilidad aleatoria, se coloca la mano en la bolsa y se saca un dado, es decir, se extrae una función masa de probabilidad. Una bolsa de dados fabricada mediante un proceso rudimentario hace 100 años probablemente tendrá probabilidades que se desvíen enormemente de la función masa de probabilidad uniforme, mientras que una bolsa de dados de última generación que se utiliza en los casinos de Las Vegas puede tener imperfecciones apenas perceptibles. Podemos modelar la aleatoriedad de las funciones masa de probabilidad con la distribución de Dirichlet. ^[1]

El proceso de Dirichlet se especifica mediante una distribución base y un número real positivo llamado parámetro de concentración (también conocido como parámetro de escala). La distribución base es el valor esperado del proceso, es decir, el proceso de Dirichlet dibuja distribuciones "alrededor" de la distribución base de la misma manera que una distribución normal dibuja números reales alrededor de su media. Sin embargo, incluso si la distribución base es continua , las distribuciones extraídas del proceso de Dirichlet son casi con seguridad discretas . El parámetro de escala especifica cuán fuerte es esta discretización: en el límite de , las realizaciones están todas concentradas en un solo valor, mientras que en el límite de las realizaciones se vuelven continuas. Entre los dos extremos, las realizaciones son distribuciones discretas con cada vez menos concentración a medida que aumenta. ${\displaystyle H}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha \rightarrow 0}$ ${\displaystyle \alpha \rightarrow \infty }$ ${\displaystyle \alpha }$

El proceso de Dirichlet también puede considerarse como la generalización de dimensión infinita de la distribución de Dirichlet . De la misma manera que la distribución de Dirichlet es la distribución conjugada previa de la distribución categórica , el proceso de Dirichlet es la distribución conjugada previa de distribuciones discretas infinitas y no paramétricas . Una aplicación particularmente importante de los procesos de Dirichlet es como distribución de probabilidad previa en modelos de mezcla infinita .

El proceso Dirichlet fue introducido formalmente por Thomas S. Ferguson en 1973. ^[2] Desde entonces se ha aplicado en minería de datos y aprendizaje automático , entre otros para el procesamiento del lenguaje natural , la visión artificial y la bioinformática .

Introducción

Los procesos de Dirichlet se utilizan habitualmente cuando se modelan datos que tienden a repetir valores anteriores en un modelo denominado "los ricos se hacen más ricos". En concreto, supongamos que la generación de valores se puede simular mediante el siguiente algoritmo. ${\displaystyle X_{1},X_{2},\dots }$

Entrada: (una distribución de probabilidad llamada distribución base), (un número real positivo llamado parámetro de escala ) ${\displaystyle H}$ ${\displaystyle \alpha }$

Para : ${\displaystyle n\geq 1}$

a) Con probabilidad, extraiga de . ${\displaystyle {\frac {\alpha }{\alpha +n-1}}}$ ${\displaystyle X_{n}}$ ${\displaystyle H}$

b) Con probabilidad establecida , donde es el número de observaciones previas de . ${\displaystyle {\frac {n_{x}}{\alpha +n-1}}}$ ${\displaystyle X_{n}=x}$ ${\displaystyle n_{x}}$ ${\displaystyle x}$
(Formalmente, donde denota el número de elementos del conjunto). ${\displaystyle n_{x}:=|\{j\colon X_{j}=x{\text{ and }}j<n\}|}$ ${\displaystyle |\cdot |}$

Al mismo tiempo, otro modelo común para los datos es que se supone que las observaciones son independientes y se distribuyen de manera idéntica (iid) de acuerdo con alguna distribución (aleatoria) . El objetivo de introducir los procesos de Dirichlet es poder describir el procedimiento descrito anteriormente en este modelo iid. ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle P}$

Las observaciones en el algoritmo no son independientes , ya que tenemos que considerar los resultados anteriores al generar el siguiente valor. Sin embargo, son intercambiables . Este hecho se puede demostrar calculando la distribución de probabilidad conjunta de las observaciones y notando que la fórmula resultante solo depende de qué valores ocurren entre las observaciones y cuántas repeticiones tiene cada una. Debido a esta intercambiabilidad, se aplica el teorema de representación de De Finetti e implica que las observaciones son condicionalmente independientes dada una distribución (latente) . Esta es una variable aleatoria en sí misma y tiene una distribución. Esta distribución (sobre distribuciones) se llama proceso de Dirichlet ( ). En resumen, esto significa que obtenemos un procedimiento equivalente al algoritmo anterior: ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle x}$ ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle P}$ ${\displaystyle P}$ ${\displaystyle \operatorname {DP} }$

1. Dibuje una distribución a partir de ${\displaystyle P}$ ${\displaystyle \operatorname {DP} \left(H,\alpha \right)}$
2. Extraer observaciones independientemente de . ${\displaystyle X_{1},X_{2},\dots }$ ${\displaystyle P}$

En la práctica, sin embargo, es imposible trazar una distribución concreta , ya que su especificación requiere una cantidad infinita de información. Este es un fenómeno común en el contexto de las estadísticas no paramétricas bayesianas , donde una tarea típica es aprender distribuciones en espacios de funciones, que involucran efectivamente una cantidad infinita de parámetros. La idea clave es que en muchas aplicaciones las distribuciones de dimensión infinita aparecen solo como un dispositivo computacional intermedio y no son necesarias ni para la especificación inicial de creencias previas ni para la formulación de la inferencia final. ${\displaystyle P}$

Definición formal

Dado un conjunto medible S , una distribución de probabilidad base H y un número real positivo , el proceso de Dirichlet es un proceso estocástico cuya trayectoria de muestra (o realización , es decir, una secuencia infinita de variables aleatorias extraídas del proceso) es una distribución de probabilidad sobre S , de modo que se cumple lo siguiente. Para cualquier partición finita medible de S , denotada , ${\displaystyle \alpha }$ ${\displaystyle \operatorname {DP} (H,\alpha )}$ ${\displaystyle \{B_{i}\}_{i=1}^{n}}$

${\displaystyle {\text{if }}X\sim \operatorname {DP} (H,\alpha )}$

${\displaystyle {\text{then }}(X(B_{1}),\dots ,X(B_{n}))\sim \operatorname {Dir} (\alpha H(B_{1}),\dots ,\alpha H(B_{n})),}$

donde denota la distribución de Dirichlet y la notación significa que la variable aleatoria tiene la distribución . ${\displaystyle \operatorname {Dir} }$ ${\displaystyle X\sim D}$ ${\displaystyle X}$ ${\displaystyle D}$

Puntos de vista alternativos

Existen varias visiones equivalentes del proceso de Dirichlet. Además de la definición formal anterior, el proceso de Dirichlet se puede definir implícitamente a través del teorema de De Finetti como se describe en la primera sección; esto a menudo se llama el proceso del restaurante chino . Una tercera alternativa es el proceso de rotura de palos , que define el proceso de Dirichlet de manera constructiva al escribir una distribución muestreada del proceso como , donde son muestras de la distribución base , es una función indicadora centrada en (cero en todas partes excepto en ) y se definen mediante un esquema recursivo que toma muestras repetidamente de la distribución beta . ${\displaystyle f(x)=\sum _{k=1}^{\infty }\beta _{k}\delta _{x_{k}}(x)}$ ${\displaystyle \{x_{k}\}_{k=1}^{\infty }}$ ${\displaystyle H}$ ${\displaystyle \delta _{x_{k}}}$ ${\displaystyle x_{k}}$ ${\displaystyle \delta _{x_{k}}(x_{k})=1}$ ${\displaystyle \beta _{k}}$ ${\displaystyle \operatorname {Beta} (1,\alpha )}$

El proceso del restaurante chino

Animación del proceso de un restaurante chino con parámetro de escala . Las mesas se ocultan cuando ya no se pueden visualizar los clientes de una mesa; sin embargo, cada mesa tiene una cantidad infinita de asientos. (Grabación de una animación interactiva. ^[3] ) ${\displaystyle \alpha =0.5}$

Una metáfora ampliamente utilizada para el proceso de Dirichlet se basa en el llamado proceso del restaurante chino . La metáfora es la siguiente:

Imaginemos un restaurante chino en el que entran clientes. Un nuevo cliente se sienta en una mesa con una probabilidad proporcional al número de clientes que ya están sentados allí. Además, un cliente abre una nueva mesa con una probabilidad proporcional al parámetro de escala . Después de que entran infinitos clientes, se obtiene una distribución de probabilidad sobre infinitas mesas para elegir. Esta distribución de probabilidad sobre las mesas es una muestra aleatoria de las probabilidades de las observaciones extraídas de un proceso de Dirichlet con parámetro de escala . ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

Si se asocian los datos extraídos de la medida base con cada tabla, la distribución resultante sobre el espacio muestral es una muestra aleatoria de un proceso de Dirichlet. El proceso del restaurante chino está relacionado con el esquema de muestreo de urnas de Pólya , que produce muestras de distribuciones finitas de Dirichlet. ${\displaystyle H}$ ${\displaystyle S}$

Como los clientes se sientan en una mesa con una probabilidad proporcional al número de clientes que ya están sentados en la mesa, se pueden deducir dos propiedades del DP:

1. El proceso de Dirichlet exhibe una propiedad de autorreforzamiento: cuanto más a menudo se haya muestreado un valor dado en el pasado, más probable es que se vuelva a muestrear.
2. Incluso si se trata de una distribución sobre un conjunto incontable , existe una probabilidad distinta de cero de que dos muestras tengan exactamente el mismo valor porque la masa de probabilidad se concentrará en un pequeño número de tablas. ${\displaystyle H}$

El proceso de romper el palo

Un tercer enfoque del proceso de Dirichlet es el llamado proceso de ruptura de palitos. Conceptualmente, esto implica romper y descartar repetidamente una fracción aleatoria (muestreada de una distribución Beta) de un "palillo" que inicialmente tiene una longitud de 1. Recuerde que los valores extraídos de un proceso de Dirichlet son distribuciones sobre un conjunto . Como se señaló anteriormente, la distribución extraída es discreta con una probabilidad de 1. En el proceso de ruptura de palitos, usamos explícitamente la discreción y damos la función de masa de probabilidad de esta distribución discreta (aleatoria) como: ${\displaystyle S}$

${\displaystyle f(\theta )=\sum _{k=1}^{\infty }\beta _{k}\cdot \delta _{\theta _{k}}(\theta )}$

donde es la función indicadora que evalúa a cero en todas partes, excepto en . Dado que esta distribución es aleatoria en sí misma, su función de masa está parametrizada por dos conjuntos de variables aleatorias: las ubicaciones y las probabilidades correspondientes . A continuación, presentamos sin pruebas cuáles son estas variables aleatorias. ${\displaystyle \delta _{\theta _{k}}}$ ${\displaystyle \delta _{\theta _{k}}(\theta _{k})=1}$ ${\displaystyle \left\{\theta _{k}\right\}_{k=1}^{\infty }}$ ${\displaystyle \left\{\beta _{k}\right\}_{k=1}^{\infty }}$

Las posiciones son independientes y se distribuyen de forma idéntica según , la distribución base del proceso de Dirichlet. Las probabilidades se dan mediante un procedimiento similar a la rotura de un palo de longitud unitaria (de ahí el nombre): ${\displaystyle \theta _{k}}$ ${\displaystyle H}$ ${\displaystyle \beta _{k}}$

${\displaystyle \beta _{k}=\beta '_{k}\cdot \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$

donde son variables aleatorias independientes con la distribución beta . La semejanza con 'romper un palo' se puede ver al considerar como la longitud de un trozo de palo. Comenzamos con un palo de longitud unitaria y en cada paso rompemos una porción del palo restante de acuerdo con y asignamos este trozo roto a . La fórmula se puede entender al notar que después de que los primeros k  − 1 valores tienen sus porciones asignadas, la longitud del resto del palo es y este trozo se rompe de acuerdo con y se asigna a . ${\displaystyle \beta '_{k}}$ ${\displaystyle \operatorname {Beta} (1,\alpha )}$ ${\displaystyle \beta _{k}}$ ${\displaystyle \beta '_{k}}$ ${\displaystyle \beta _{k}}$ ${\displaystyle \prod _{i=1}^{k-1}\left(1-\beta '_{i}\right)}$ ${\displaystyle \beta '_{k}}$ ${\displaystyle \beta _{k}}$

Cuanto más pequeño sea, menos restos quedarán para los valores posteriores (en promedio), lo que dará lugar a distribuciones más concentradas. ${\displaystyle \alpha }$

El proceso de ruptura de barras es similar a la construcción donde se toman muestras secuencialmente de distribuciones beta marginales para generar una muestra de una distribución de Dirichlet . ^[4]

El proyecto de la urna Pólya

Otra forma de visualizar el proceso de Dirichlet y el proceso de los restaurantes chinos es mediante un esquema de urna de Pólya modificado, a veces llamado esquema de muestreo de Blackwell-MacQueen . Imaginemos que empezamos con una urna llena de bolas negras. Luego procedemos de la siguiente manera: ${\displaystyle \alpha }$

1. Cada vez que necesitamos una observación, sacamos una bola de la urna.
2. Si la bola es negra, generamos un nuevo color (no negro) de manera uniforme, etiquetamos una nueva bola con este color, dejamos caer la nueva bola en la urna junto con la bola que extrajimos y devolvemos el color que generamos.
3. De lo contrario, etiquete una bola nueva con el color de la bola que sacamos, coloque la bola nueva en la urna junto con la bola que sacamos y devuelva el color que observamos.

La distribución resultante sobre los colores es la misma que la distribución sobre las mesas en el proceso del restaurante chino. Además, cuando extraemos una bola negra, si en lugar de generar un nuevo color, elegimos un valor aleatorio de una distribución base y usamos ese valor para etiquetar la nueva bola, la distribución resultante sobre las etiquetas será la misma que la distribución sobre los valores en un proceso de Dirichlet. ${\displaystyle H}$

Utilizar como distribución previa

El proceso de Dirichlet se puede utilizar como distribución previa para estimar la distribución de probabilidad que genera los datos. En esta sección, consideramos el modelo

${\displaystyle {\begin{aligned}P&\sim {\textrm {DP}}(H,\alpha )\\X_{1},\ldots ,X_{n}\mid P&\,{\overset {\textrm {i.i.d.}}{\sim }}\,P.\end{aligned}}}$

La distribución del proceso de Dirichlet satisface la conjugación previa , la consistencia posterior y el teorema de Bernstein-von Mises . ^[5]

Conjugación previa

En este modelo, la distribución posterior es nuevamente un proceso de Dirichlet. Esto significa que el proceso de Dirichlet es una distribución previa conjugada para este modelo. La distribución posterior está dada por

${\displaystyle {\begin{aligned}P\mid X_{1},\ldots ,X_{n}&\sim {\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {1}{\alpha +n}}\sum _{i=1}^{n}\delta _{X_{i}},\;\alpha +n\right)\\&={\textrm {DP}}\left({\frac {\alpha }{\alpha +n}}H+{\frac {n}{\alpha +n}}\mathbb {P} _{n},\;\alpha +n\right)\end{aligned}}}$

donde se define a continuación. ${\displaystyle \mathbb {P} _{n}}$

Consistencia posterior

Si adoptamos la perspectiva frecuentista de la probabilidad, creemos que existe una distribución de probabilidad verdadera que generó los datos. Entonces resulta que el proceso de Dirichlet es consistente en la topología débil , lo que significa que para cada vecindad débil de , la probabilidad posterior de converge a . ${\displaystyle P_{0}}$ ${\displaystyle U}$ ${\displaystyle P_{0}}$ ${\displaystyle U}$ ${\displaystyle 1}$

Teorema de Bernstein-Von Mises

Para interpretar los conjuntos creíbles como conjuntos de confianza, se necesita un teorema de Bernstein-von Mises . En el caso del proceso de Dirichlet, comparamos la distribución posterior con el proceso empírico . Supongamos que es una clase -Donsker, es decir ${\displaystyle \mathbb {P} _{n}={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}}$ ${\displaystyle {\mathcal {F}}}$ ${\displaystyle P_{0}}$

${\displaystyle {\sqrt {n}}\left(\mathbb {P} _{n}-P_{0}\right)\rightsquigarrow G_{P_{0}}}$

para algún puente browniano . Supongamos también que existe una función tal que tal que , entonces, casi con seguridad ${\displaystyle G_{P_{0}}}$ ${\displaystyle F}$ ${\displaystyle F(x)\geq \sup _{f\in {\mathcal {F}}}f(x)}$ ${\displaystyle \int F^{2}\,\mathrm {d} H<\infty }$ ${\displaystyle P_{0}}$

${\displaystyle {\sqrt {n}}\left(P-\mathbb {P} _{n}\right)\mid X_{1},\cdots ,X_{n}\rightsquigarrow G_{P_{0}}.}$

Esto implica que los conjuntos creíbles que usted construye son conjuntos de confianza asintóticos, y la inferencia bayesiana basada en el proceso de Dirichlet es también una inferencia frecuentista asintóticamente válida.

Uso en modelos de mezcla de Dirichlet

Simulación de 1000 observaciones extraídas de un modelo de mezcla de Dirichlet. Cada observación dentro de un grupo se extrae de forma independiente de la distribución normal multivariante . Las medias de los grupos se extraen de una distribución G que, a su vez, se extrae de un proceso de Dirichlet con parámetro de concentración y distribución base . Cada fila es una nueva simulación. ${\displaystyle N(\mu _{k},1/4)}$ ${\displaystyle \mu _{k}}$ ${\displaystyle \alpha =0.5}$ ${\displaystyle H=N(2,16)}$

Para entender qué son los procesos de Dirichlet y el problema que resuelven, consideramos el ejemplo de la agrupación de datos . Es una situación común que se suponga que los puntos de datos se distribuyen de manera jerárquica, donde cada punto de datos pertenece a un grupo (elegido aleatoriamente) y los miembros de un grupo se distribuyen aleatoriamente dentro de ese grupo.

Ejemplo 1

Por ejemplo, nos podría interesar saber cómo votará la gente sobre una serie de cuestiones en unas próximas elecciones. Un modelo razonable para esta situación podría ser clasificar a cada votante como liberal, conservador o moderado y luego modelar el evento de que un votante diga "Sí" a una determinada cuestión como una variable aleatoria de Bernoulli con la probabilidad dependiendo del grupo político al que pertenece. Al observar cómo se emitieron los votos en años anteriores sobre piezas legislativas similares, se podría ajustar un modelo predictivo utilizando un algoritmo de agrupamiento simple como k -means . Ese algoritmo, sin embargo, requiere saber de antemano el número de grupos que generaron los datos. En muchas situaciones, no es posible determinar esto con antelación, e incluso cuando podemos suponer razonablemente un número de grupos, nos gustaría poder comprobar esta suposición. Por ejemplo, en el ejemplo de votación anterior, la división en liberal, conservador y moderado podría no estar lo suficientemente ajustada; atributos como la religión, la clase o la raza también podrían ser críticos para modelar el comportamiento de los votantes, lo que daría lugar a más grupos en el modelo.

Ejemplo 2

Como otro ejemplo, nos podría interesar modelar las velocidades de las galaxias usando un modelo simple asumiendo que las velocidades están agrupadas, por ejemplo asumiendo que cada velocidad está distribuida de acuerdo con la distribución normal , donde la observación n pertenece al n cúmulo de galaxias con velocidad esperada común. En este caso, está lejos de ser obvio cómo determinar a priori cuántos cúmulos (de velocidades comunes) debería haber y cualquier modelo para esto sería altamente sospechoso y debería ser verificado contra los datos. Al usar un proceso de Dirichlet a priori para la distribución de los medios de cúmulos, evitamos la necesidad de especificar explícitamente de antemano cuántos cúmulos hay, aunque el parámetro de concentración todavía lo controla implícitamente. ${\displaystyle v_{i}\sim N(\mu _{k},\sigma ^{2})}$ ${\displaystyle i}$ ${\displaystyle k}$

Consideremos este ejemplo con más detalle. Un primer modelo ingenuo es presuponer que existen grupos de velocidades distribuidas normalmente con varianza fija conocida común . Denotando el evento de que la observación n está en el grupo n, podemos escribir este modelo como: ${\displaystyle K}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle i}$ ${\displaystyle k}$ ${\displaystyle z_{i}=k}$

${\displaystyle {\begin{aligned}(v_{i}\mid z_{i}=k,\mu _{k})&\sim N(\mu _{k},\sigma ^{2})\\\operatorname {P} (z_{i}=k)&=\pi _{k}\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

Es decir, asumimos que los datos pertenecen a grupos distintos con medias y que esa es la probabilidad previa (desconocida) de que un punto de datos pertenezca al grupo n.º. Asumimos que no tenemos información inicial que distinga los grupos, que se captura mediante la distribución previa simétrica . Aquí denota la distribución de Dirichlet y denota un vector de longitud donde cada elemento es 1. Además, asignamos distribuciones previas independientes e idénticas a cada una de las medias de los grupos, donde puede ser cualquier distribución paramétrica con parámetros denotados como . Los hiperparámetros y se toman como constantes fijas conocidas, elegidas para reflejar nuestras creencias previas sobre el sistema. Para comprender la conexión con las distribuciones previas del proceso de Dirichlet, reescribimos este modelo en una forma equivalente pero más sugerente: ${\displaystyle K}$ ${\displaystyle \mu _{k}}$ ${\displaystyle \pi _{k}}$ ${\displaystyle k}$ ${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$ ${\displaystyle \operatorname {Dir} }$ ${\displaystyle \mathbf {1} _{K}}$ ${\displaystyle K}$ ${\displaystyle H(\lambda )}$ ${\displaystyle H}$ ${\displaystyle \lambda }$ ${\displaystyle \alpha }$ ${\displaystyle \lambda }$

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G=\sum _{k=1}^{K}\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})\\({\boldsymbol {\pi }}\mid \alpha )&\sim \operatorname {Dir} \left({\frac {\alpha }{K}}\cdot \mathbf {1} _{K}\right)\\\mu _{k}&\sim H(\lambda )\end{aligned}}}$

En lugar de imaginar que a cada punto de datos se le asigna primero un grupo y luego se extrae de la distribución asociada a ese grupo, ahora pensamos que cada observación está asociada con un parámetro extraído de alguna distribución discreta con apoyo en las medias. Es decir, ahora estamos tratando el como extraído de la distribución aleatoria y nuestra información previa se incorpora al modelo por la distribución sobre distribuciones . ${\displaystyle {\tilde {\mu }}_{i}}$ ${\displaystyle G}$ ${\displaystyle K}$ ${\displaystyle {\tilde {\mu }}_{i}}$ ${\displaystyle G}$ ${\displaystyle G}$

Animación del proceso de agrupamiento de datos unidimensionales utilizando distribuciones gaussianas extraídas de un proceso de Dirichlet. Los histogramas de los clústeres se muestran en diferentes colores. Durante el proceso de estimación de parámetros, se crean nuevos clústeres y crecen a partir de los datos. La leyenda muestra los colores de los clústeres y la cantidad de puntos de datos asignados a cada clúster.

Ahora nos gustaría ampliar este modelo para que funcione sin especificar previamente un número fijo de clústeres . Matemáticamente, esto significa que nos gustaría seleccionar una distribución previa aleatoria donde los valores de las medias de los clústeres se distribuyan nuevamente de forma independiente según y la distribución sobre sea simétrica sobre el conjunto infinito de clústeres. Esto es exactamente lo que se logra con el modelo: ${\displaystyle K}$ ${\displaystyle G({\tilde {\mu }}_{i})=\sum _{k=1}^{\infty }\pi _{k}\delta _{\mu _{k}}({\tilde {\mu }}_{i})}$ ${\displaystyle \mu _{k}}$ ${\displaystyle H\left(\lambda \right)}$ ${\displaystyle \pi _{k}}$

${\displaystyle {\begin{aligned}(v_{i}\mid {\tilde {\mu }}_{i})&\sim N({\tilde {\mu }}_{i},\sigma ^{2})\\{\tilde {\mu }}_{i}&\sim G\\G&\sim \operatorname {DP} (H(\lambda ),\alpha )\end{aligned}}}$

Con esto en la mano podemos entender mejor los méritos computacionales del proceso de Dirichlet. Supongamos que quisiéramos extraer observaciones del modelo ingenuo con exactamente clústeres. Un algoritmo simple para hacer esto sería extraer valores de de , una distribución de y luego para cada observación muestrear independientemente el clúster con probabilidad y el valor de la observación de acuerdo con . Es fácil ver que este algoritmo no funciona en el caso en que permitimos clústeres infinitos porque esto requeriría muestrear un parámetro dimensional infinito . Sin embargo, todavía es posible muestrear observaciones . Por ejemplo, se puede usar la representación del restaurante chino que se describe a continuación y calcular la probabilidad de los clústeres usados ​​y de un nuevo clúster a crear. Esto evita tener que especificar explícitamente . Otras soluciones se basan en un truncamiento de clústeres: se introduce un límite superior (alto) para el número real de clústeres y los números de clústeres superiores al límite inferior se tratan como un clúster. ${\displaystyle n}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle \mu _{k}}$ ${\displaystyle H(\lambda )}$ ${\displaystyle \pi }$ ${\displaystyle \operatorname {Dir} \left(\alpha /K\cdot \mathbf {1} _{K}\right)}$ ${\displaystyle k}$ ${\displaystyle \pi _{k}}$ ${\displaystyle N\left(\mu _{k},\sigma ^{2}\right)}$ ${\displaystyle {\boldsymbol {\pi }}}$ ${\displaystyle v_{i}}$ ${\displaystyle {\boldsymbol {\pi }}}$

Ajustar el modelo descrito anteriormente en base a los datos observados significa encontrar la distribución posterior sobre las probabilidades de los conglomerados y sus medias asociadas. En el caso de dimensión infinita, obviamente es imposible escribir la distribución posterior explícitamente. Sin embargo, es posible extraer muestras de esta distribución posterior utilizando un muestreador de Gibbs modificado . ^[6] Este es el hecho crítico que hace que la distribución previa del proceso de Dirichlet sea útil para la inferencia . ${\displaystyle D}$ ${\displaystyle p\left({\boldsymbol {\pi }},{\boldsymbol {\mu }}\mid D\right)}$

Aplicaciones del proceso de Dirichlet

Los procesos de Dirichlet se utilizan con frecuencia en las estadísticas no paramétricas bayesianas . "No paramétrico" aquí no significa un modelo sin parámetros, sino un modelo en el que las representaciones crecen a medida que se observan más datos. Los modelos no paramétricos bayesianos han ganado considerable popularidad en el campo del aprendizaje automático debido a la flexibilidad mencionada anteriormente, especialmente en el aprendizaje no supervisado . En un modelo no paramétrico bayesiano, las distribuciones previa y posterior no son distribuciones paramétricas, sino procesos estocásticos. ^[7] El hecho de que la distribución de Dirichlet sea una distribución de probabilidad en el símplex de conjuntos de números no negativos que suman uno la convierte en una buena candidata para modelar distribuciones sobre distribuciones o distribuciones sobre funciones. Además, la naturaleza no paramétrica de este modelo lo convierte en un candidato ideal para problemas de agrupamiento en los que se desconoce de antemano el número concreto de agrupamientos. Además, el proceso de Dirichlet también se ha utilizado para desarrollar una mezcla de modelos expertos, en el contexto de algoritmos de aprendizaje supervisado (configuraciones de regresión o clasificación). Por ejemplo, mezclas de expertos en procesos gaussianos, donde el número de expertos necesarios debe inferirse a partir de los datos. ^{[8] [9]}

Como los datos extraídos de un proceso de Dirichlet son discretos, un uso importante es como probabilidad previa en modelos de mezcla infinita . En este caso, es el conjunto paramétrico de distribuciones de componentes. Por lo tanto, el proceso generativo consiste en que se extrae una muestra de un proceso de Dirichlet y, para cada punto de datos, a su vez, se extrae un valor de esta distribución de muestra y se utiliza como distribución de componentes para ese punto de datos. El hecho de que no haya límite para la cantidad de componentes distintos que se pueden generar hace que este tipo de modelo sea apropiado para el caso en que la cantidad de componentes de la mezcla no esté bien definida de antemano. Por ejemplo, el modelo de mezcla infinita de gaussianas, ^[10] así como los modelos de regresión de mezcla asociados, por ejemplo ^[11] ${\displaystyle S}$

La naturaleza infinita de estos modelos también los hace adecuados a aplicaciones de procesamiento del lenguaje natural , donde a menudo es deseable tratar el vocabulario como un conjunto infinito y discreto.

El proceso de Dirichlet también se puede utilizar para pruebas de hipótesis no paramétricas, es decir, para desarrollar versiones no paramétricas bayesianas de las pruebas de hipótesis no paramétricas clásicas, por ejemplo , la prueba de signos , la prueba de suma de rangos de Wilcoxon , la prueba de rangos con signo de Wilcoxon , etc. Por ejemplo, se han desarrollado versiones no paramétricas bayesianas de la prueba de suma de rangos de Wilcoxon y la prueba de rangos con signo de Wilcoxon utilizando el proceso de Dirichlet impreciso , un proceso de Dirichlet de ignorancia previa. ^{[ cita requerida ]}

Distribuciones relacionadas

• El proceso de Pitman-Yor es una generalización del proceso de Dirichlet para acomodar las colas de la ley de potencia.
• El proceso Dirichlet jerárquico extiende el proceso Dirichlet ordinario para modelar datos agrupados.

Referencias

1. Frigyik, Bela A.; Kapila, Amol; Gupta, Maya R. "Introducción a la distribución de Dirichlet y procesos relacionados" (PDF) . Consultado el 2 de septiembre de 2021 .
2. Ferguson, Thomas (1973). "Análisis bayesiano de algunos problemas no paramétricos". Anales de estadística . 1 (2): 209–230. doi : 10.1214/aos/1176342360 . MR  0350949.
3. "Proceso de Dirichlet y distribución de Dirichlet – Esquema de restaurante Polya y proceso de restaurante chino".
4. Para la prueba, véase Paisley, John (agosto de 2010). "A simple proof of the stick-breaking construction of the Dirichlet Process" (PDF) . Universidad de Columbia . Archivado desde el original (PDF) el 22 de enero de 2015.
5. Aad van der Vaart , Subhashis Ghosal (2017). Fundamentos de la inferencia no paramétrica bayesiana . Cambridge University Press. ISBN 978-0-521-87826-5.
6. Sudderth, Erik (2006). Modelos gráficos para el reconocimiento y seguimiento de objetos visuales (PDF) (Ph.D.). MIT Press.
7. Nils Lid Hjort ; Chris Holmes, Peter Müller; Stephen G. Walker (2010). No paramétricos bayesianos . Cambridge University Press. ISBN 978-0-521-51346-3.
8. Sotirios P. Chatzis, "Un modelo de proceso gaussiano de variable latente con priores de proceso de Pitman-Yor para clasificación multiclase", Neurocomputing, vol. 120, págs. 482-489, noviembre de 2013. doi :10.1016/j.neucom.2013.04.029
9. Sotirios P. Chatzis, Yiannis Demiris, "Mezclas no paramétricas de procesos gaussianos con comportamiento de ley de potencia", IEEE Transactions on Neural Networks and Learning Systems, vol. 23, núm. 12, págs. 1862–1871, diciembre de 2012. doi :10.1109/TNNLS.2012.2217986
10. Rasmussen, Carl (2000). "El modelo de mezcla gaussiana infinita" (PDF) . Avances en sistemas de procesamiento de información neuronal . 12 : 554–560.
11. Sotirios P. Chatzis, Dimitrios Korkinof y Yiannis Demiris, "Un enfoque bayesiano no paramétrico hacia el aprendizaje de robots mediante demostración", Robotics and Autonomous Systems, vol. 60, núm. 6, págs. 789–802, junio de 2012. doi :10.1016/j.robot.2012.02.005

Enlaces externos

• Introducción a la distribución de Dirichlet y procesos relacionados por Frigyik, Kapila y Gupta
• Descripción general de los procesos de Dirichlet según Yee Whye Teh
• Página web del taller NIPS 2003 sobre métodos bayesianos no paramétricos
• Tutorial NIPS 2005 de Michael Jordan: Métodos bayesianos no paramétricos: procesos de Dirichlet, procesos de restaurantes chinos y todo eso
• Resumen de Peter Green sobre la construcción de procesos de Dirichlet
• Artículo de Peter Green sobre modelos probabilísticos de procesos de Dirichlet con implicaciones para el análisis y modelado estadístico
• Tutorial de Zoubin Ghahramani sobre métodos bayesianos no paramétricos en la UAI 2005
• Software GIMM para realizar análisis de conglomerados utilizando modelos de mezcla infinita
• Un ejemplo de agrupamiento mediante el proceso de Dirichlet. Por Zhiyuan Weng