stringtranslate.com

Métodos bayesianos variacionales

Los métodos bayesianos variacionales son una familia de técnicas para aproximar integrales intratables que surgen en la inferencia bayesiana y el aprendizaje automático . Se utilizan normalmente en modelos estadísticos complejos que constan de variables observadas (normalmente denominadas "datos"), así como parámetros desconocidos y variables latentes , con diversos tipos de relaciones entre los tres tipos de variables aleatorias , como podría describirse mediante un modelo gráfico . Como es habitual en la inferencia bayesiana, los parámetros y las variables latentes se agrupan como "variables no observadas". Los métodos bayesianos variacionales se utilizan principalmente con dos fines:

  1. Proporcionar una aproximación analítica a la probabilidad posterior de las variables no observadas, con el fin de realizar inferencia estadística sobre estas variables.
  2. Para derivar un límite inferior para la probabilidad marginal (a veces llamada evidencia ) de los datos observados (es decir, la probabilidad marginal de los datos dado el modelo, con marginalización realizada sobre variables no observadas). Esto se utiliza típicamente para realizar la selección de modelos , la idea general es que una mayor probabilidad marginal para un modelo dado indica un mejor ajuste de los datos por ese modelo y, por lo tanto, una mayor probabilidad de que el modelo en cuestión sea el que generó los datos. (Véase también el artículo sobre el factor de Bayes ).

En el primer caso (el de aproximar una probabilidad posterior), el método Bayes variacional es una alternativa a los métodos de muestreo de Monte Carlo (en particular, los métodos de Monte Carlo de cadena de Markov , como el muestreo de Gibbs ) para adoptar un enfoque totalmente bayesiano para la inferencia estadística sobre distribuciones complejas que son difíciles de evaluar directamente o de muestrear . En particular, mientras que las técnicas de Monte Carlo proporcionan una aproximación numérica a la probabilidad posterior exacta utilizando un conjunto de muestras, el método Bayes variacional proporciona una solución analítica exacta y localmente óptima para una aproximación de la probabilidad posterior.

El Bayes variacional puede considerarse una extensión del algoritmo de expectativa-maximización (EM) desde la estimación de máxima verosimilitud (ML) o máxima a posteriori (MAP) del valor más probable de cada parámetro hasta la estimación completamente bayesiana, que calcula (una aproximación a) la distribución posterior completa de los parámetros y las variables latentes. Al igual que en el EM, encuentra un conjunto de valores óptimos de los parámetros y tiene la misma estructura alternante que el EM, basada en un conjunto de ecuaciones interconectadas (mutuamente dependientes) que no se pueden resolver analíticamente.

Para muchas aplicaciones, el método Bayes variacional produce soluciones de precisión comparable al muestreo de Gibbs a mayor velocidad. Sin embargo, derivar el conjunto de ecuaciones utilizadas para actualizar los parámetros de manera iterativa a menudo requiere una gran cantidad de trabajo en comparación con la derivación de ecuaciones de muestreo de Gibbs comparables. Este es el caso incluso para muchos modelos que son conceptualmente bastante simples, como se demuestra a continuación en el caso de un modelo básico no jerárquico con solo dos parámetros y sin variables latentes.

Derivación matemática

Problema

En la inferencia variacional , la distribución posterior sobre un conjunto de variables no observadas dados algunos datos se aproxima mediante una denominada distribución variacional .

La distribución está restringida a pertenecer a una familia de distribuciones de forma más simple que (por ejemplo, una familia de distribuciones gaussianas), seleccionadas con la intención de hacerlas similares a la verdadera posterior, .

La similitud (o disimilitud) se mide en términos de una función de disimilitud y, por lo tanto, la inferencia se realiza seleccionando la distribución que minimiza .

Divergencia KL

El tipo más común de Bayes variacional utiliza la divergencia de Kullback-Leibler (divergencia KL) de Q a partir de P como la opción de función de disimilitud. Esta opción hace que esta minimización sea manejable. La divergencia KL se define como

Obsérvese que Q y P son inversos a lo que cabría esperar. Este uso de la divergencia KL invertida es conceptualmente similar al algoritmo de maximización de expectativas . (El uso de la divergencia KL de la otra forma produce el algoritmo de propagación de expectativas ).

Dificultad

Las técnicas variacionales se utilizan normalmente para formar una aproximación para:

La marginalización sobre el cálculo en el denominador suele ser intratable, porque, por ejemplo, el espacio de búsqueda de es combinatoriamente grande. Por lo tanto, buscamos una aproximación, utilizando .

Límite inferior de evidencia

Dado que , la divergencia KL anterior también se puede escribir como

Debido a que es una constante con respecto a y debido a que es una distribución, tenemos

que, según la definición de valor esperado (para una variable aleatoria discreta ), se puede escribir de la siguiente manera

que se puede reorganizar para convertirse en

Como la evidencia logarítmica se fija con respecto a , maximizar el término final minimiza la divergencia KL de desde . Con la elección adecuada de , se vuelve factible de calcular y maximizar. Por lo tanto, tenemos tanto una aproximación analítica para el posterior como un límite inferior para la evidencia logarítmica (ya que la divergencia KL no es negativa).

El límite inferior se conoce como energía libre variacional (negativa) en analogía con la energía libre termodinámica porque también se puede expresar como una energía negativa más la entropía de . El término también se conoce como Límite inferior de evidencia , abreviado como ELBO , para enfatizar que es un límite inferior (en el peor de los casos) en la evidencia logarítmica de los datos.

Pruebas

Por el teorema de Pitágoras generalizado de la divergencia de Bregman , del cual la divergencia KL es un caso especial, se puede demostrar que: [1] [2]

Teorema de Pitágoras generalizado para la divergencia de Bregman [2]

donde es un conjunto convexo y la igualdad se cumple si:

En este caso, el minimizador global se puede encontrar de la siguiente manera: [1]

en la que la constante normalizadora es:

En la práctica, el término a menudo se denomina límite inferior de evidencia ( ELBO ), ya que , [1] como se muestra arriba.

Al intercambiar los roles de y podemos calcular iterativamente los valores aproximados de y de los marginales del modelo verdadero y respectivamente. Aunque se garantiza que este esquema iterativo converge de manera monótona, [1] el convergido es solo un minimizador local de .

Si el espacio restringido está confinado dentro del espacio independiente, es decir, el esquema iterativo anterior se convertirá en la denominada aproximación de campo medio, como se muestra a continuación.

Aproximación del campo medio

Generalmente se supone que la distribución variacional se factoriza sobre alguna partición de las variables latentes, es decir, para alguna partición de las variables latentes en ,

Se puede demostrar utilizando el cálculo de variaciones (de ahí el nombre "Bayes variacional") que la "mejor" distribución para cada uno de los factores (en términos de la distribución que minimiza la divergencia KL, como se describió anteriormente) satisface: [3]

donde es la expectativa del logaritmo de la probabilidad conjunta de los datos y las variables latentes, tomada con respecto a todas las variables que no están en la partición: consulte el Lema 4.1 de [4] para obtener una derivación de la distribución .

En la práctica, normalmente trabajamos en términos de logaritmos, es decir:

La constante en la expresión anterior está relacionada con la constante de normalización (el denominador en la expresión anterior para ) y generalmente se restablece mediante inspección, ya que el resto de la expresión generalmente se puede reconocer como un tipo conocido de distribución (por ejemplo , gaussiana , gamma , etc.).

Utilizando las propiedades de las expectativas, la expresión puede simplificarse usualmente en una función de los hiperparámetros fijos de las distribuciones previas sobre las variables latentes y de las expectativas (y a veces momentos superiores como la varianza ) de las variables latentes que no están en la partición actual (es decir, variables latentes no incluidas en ). Esto crea dependencias circulares entre los parámetros de las distribuciones sobre las variables en una partición y las expectativas de las variables en las otras particiones. Esto naturalmente sugiere un algoritmo iterativo , muy parecido a EM (el algoritmo de expectativa-maximización ), en el que las expectativas (y posiblemente los momentos superiores) de las variables latentes se inicializan de alguna manera (quizás aleatoriamente), y luego los parámetros de cada distribución se calculan a su vez utilizando los valores actuales de las expectativas, después de lo cual la expectativa de la distribución recién calculada se establece apropiadamente de acuerdo con los parámetros calculados. Se garantiza que un algoritmo de este tipo convergerá . [5]

En otras palabras, para cada una de las particiones de variables, simplificando la expresión para la distribución sobre las variables de la partición y examinando la dependencia funcional de la distribución sobre las variables en cuestión, usualmente se puede determinar la familia de la distribución (que a su vez determina el valor de la constante). La fórmula para los parámetros de la distribución se expresará en términos de los hiperparámetros de las distribuciones anteriores (que son constantes conocidas), pero también en términos de expectativas de funciones de variables en otras particiones. Usualmente estas expectativas se pueden simplificar en funciones de expectativas de las propias variables (es decir, las medias ); algunas veces también aparecen expectativas de variables al cuadrado (que pueden estar relacionadas con la varianza de las variables), o expectativas de potencias más altas (es decir, momentos más altos ). En la mayoría de los casos, las distribuciones de las otras variables serán de familias conocidas, y se pueden buscar las fórmulas para las expectativas relevantes. Sin embargo, esas fórmulas dependen de los parámetros de esas distribuciones, que a su vez dependen de las expectativas sobre otras variables. El resultado es que las fórmulas para los parámetros de las distribuciones de cada variable pueden expresarse como una serie de ecuaciones con dependencias mutuas y no lineales entre las variables. Por lo general, no es posible resolver este sistema de ecuaciones directamente. Sin embargo, como se describió anteriormente, las dependencias sugieren un algoritmo iterativo simple, cuya convergencia está garantizada en la mayoría de los casos. Un ejemplo aclarará este proceso.

Una fórmula de dualidad para la inferencia variacional

Ilustración gráfica del algoritmo de inferencia variacional de ascenso de coordenadas mediante la fórmula de dualidad [4]

El siguiente teorema se denomina fórmula de dualidad para la inferencia variacional. [4] Explica algunas propiedades importantes de las distribuciones variacionales utilizadas en los métodos de Bayes variacional.

Teorema Consideremos dos espacios de probabilidad y con . Supongamos que existe una medida de probabilidad dominante común tal que y . Sea cualquier variable aleatoria de valor real en que satisfaga . Entonces se cumple la siguiente igualdad

Además, el supremo del lado derecho se alcanza si y sólo si se cumple

casi con seguridad con respecto a la medida de probabilidad , donde y denotan las derivadas de Radon-Nikodym de las medidas de probabilidad y con respecto a , respectivamente.

Un ejemplo básico

Consideremos un modelo bayesiano no jerárquico simple que consiste en un conjunto de observaciones iid de una distribución gaussiana , con media y varianza desconocidas . [6] A continuación, trabajamos este modelo en gran detalle para ilustrar el funcionamiento del método Bayes variacional.

Para facilitar las matemáticas, en el siguiente ejemplo trabajamos en términos de precisión (es decir, el recíproco de la varianza o, en una ecuación gaussiana multivariante, el inverso de la matriz de covarianza ) en lugar de la varianza en sí. (Desde un punto de vista teórico, precisión y varianza son equivalentes, ya que existe una correspondencia uno a uno entre ambas).

El modelo matemático

Colocamos distribuciones previas conjugadas sobre la media y precisión desconocidas , es decir, la media también sigue una distribución gaussiana mientras que la precisión sigue una distribución gamma . En otras palabras:

Los hiperparámetros y en las distribuciones previas son valores fijos y dados. Se pueden establecer en números positivos pequeños para dar distribuciones previas amplias que indiquen ignorancia sobre las distribuciones previas de y .

Nos dan puntos de datos y nuestro objetivo es inferir la distribución posterior de los parámetros y

La probabilidad conjunta

La probabilidad conjunta de todas las variables se puede reescribir como

donde están los factores individuales

dónde

Aproximación factorizada

Supongamos que , es decir, que la distribución posterior se factoriza en factores independientes para y . Este tipo de suposición subyace al método bayesiano variacional. La distribución posterior verdadera, de hecho, no se factoriza de esta manera (de hecho, en este caso simple, se sabe que es una distribución gaussiana-gamma ), y, por lo tanto, el resultado que obtenemos será una aproximación.

Derivación deq ( μ )

Entonces

En la derivación anterior, , y se refieren a valores que son constantes con respecto a . Nótese que el término no es una función de y tendrá el mismo valor independientemente del valor de . Por lo tanto, en la línea 3 podemos absorberlo en el término constante al final. Hacemos lo mismo en la línea 7.

La última línea es simplemente un polinomio cuadrático en . Como este es el logaritmo de , podemos ver que en sí mismo es una distribución gaussiana .

Con una cierta cantidad de matemáticas tediosas (expandiendo los cuadrados dentro de las llaves, separando y agrupando los términos que involucran y y completando el cuadrado sobre ), podemos derivar los parámetros de la distribución gaussiana:

Tenga en cuenta que todos los pasos anteriores se pueden acortar utilizando la fórmula para la suma de dos ecuaciones cuadráticas .

En otras palabras:

Derivación deq(τ)

La derivación de es similar a la anterior, aunque omitimos algunos detalles por razones de brevedad.

Exponenciando ambos lados, podemos ver que es una distribución gamma . Específicamente:

Algoritmo para calcular los parámetros

Resumamos las conclusiones de las secciones anteriores:

y

En cada caso, los parámetros de la distribución sobre una de las variables dependen de las expectativas tomadas con respecto a la otra variable. Podemos ampliar las expectativas, utilizando las fórmulas estándar para las expectativas de momentos de las distribuciones gaussiana y gamma:

Aplicar estas fórmulas a las ecuaciones anteriores es trivial en la mayoría de los casos, pero la ecuación para requiere más trabajo:

Podemos entonces escribir las ecuaciones de parámetros de la siguiente manera, sin ninguna expectativa:

Tenga en cuenta que existen dependencias circulares entre las fórmulas para y . Esto sugiere naturalmente un algoritmo similar a EM :

  1. Calcular y utilizar estos valores para calcular y
  2. Inicializar con algún valor arbitrario.
  3. Utilice el valor actual de junto con los valores conocidos de los otros parámetros para calcular .
  4. Utilice el valor actual de junto con los valores conocidos de los otros parámetros para calcular .
  5. Repita los dos últimos pasos hasta la convergencia (es decir, hasta que ninguno de los valores haya cambiado más que una pequeña cantidad).

Luego tenemos valores para los hiperparámetros de las distribuciones de aproximación de los parámetros posteriores, que podemos usar para calcular cualquier propiedad que queramos del posterior, por ejemplo, su media y varianza, una región de mayor densidad del 95 % (el intervalo más pequeño que incluye el 95 % de la probabilidad total), etc.

Se puede demostrar que se garantiza que este algoritmo convergerá a un máximo local.

Nótese también que las distribuciones posteriores tienen la misma forma que las distribuciones previas correspondientes. No asumimos esto; la única suposición que hicimos fue que las distribuciones se factorizan, y la forma de las distribuciones se deduce naturalmente. Resulta (ver abajo) que el hecho de que las distribuciones posteriores tengan la misma forma que las distribuciones previas no es una coincidencia, sino un resultado general siempre que las distribuciones previas sean miembros de la familia exponencial , que es el caso de la mayoría de las distribuciones estándar.

Más discusión

Receta paso a paso

El ejemplo anterior muestra el método mediante el cual se deriva la aproximación variacional-bayesiana a una densidad de probabilidad posterior en una red bayesiana dada :

  1. Describa la red con un modelo gráfico , identificando las variables observadas (datos) y las variables no observadas ( parámetros y variables latentes ) y sus distribuciones de probabilidad condicional . El método Bayes variacional construirá entonces una aproximación a la probabilidad posterior . La aproximación tiene la propiedad básica de que es una distribución factorizada, es decir, un producto de dos o más distribuciones independientes sobre subconjuntos disjuntos de las variables no observadas.
  2. Divida las variables no observadas en dos o más subconjuntos, sobre los cuales se derivarán los factores independientes. No existe un procedimiento universal para hacer esto; crear demasiados subconjuntos produce una aproximación deficiente, mientras que crear muy pocos hace que todo el procedimiento bayesiano variacional sea intratable. Por lo general, la primera división consiste en separar los parámetros y las variables latentes; a menudo, esto es suficiente por sí solo para producir un resultado manejable. Suponga que las particiones se denominan .
  3. Para una partición dada , escriba la fórmula para la mejor distribución aproximada utilizando la ecuación básica .
  4. Complete la fórmula para la distribución de probabilidad conjunta utilizando el modelo gráfico. Se pueden ignorar todas las distribuciones condicionales de componentes que no involucren ninguna de las variables ; se incorporarán al término constante.
  5. Simplifique la fórmula y aplique el operador de expectativa, siguiendo el ejemplo anterior. Idealmente, esto debería simplificarse en expectativas de funciones básicas de variables que no están en (por ejemplo, primer o segundo momento bruto , expectativa de un logaritmo, etc.). Para que el procedimiento de Bayes variacional funcione bien, estas expectativas generalmente deberían poder expresarse analíticamente como funciones de los parámetros y/o hiperparámetros de las distribuciones de estas variables. En todos los casos, estos términos de expectativa son constantes con respecto a las variables en la partición actual.
  6. La forma funcional de la fórmula con respecto a las variables en la partición actual indica el tipo de distribución. En particular, la exponenciación de la fórmula genera la función de densidad de probabilidad (PDF) de la distribución (o al menos, algo proporcional a ella, con una constante de normalización desconocida ). Para que el método general sea manejable, debería ser posible reconocer la forma funcional como perteneciente a una distribución conocida. Puede requerirse una manipulación matemática significativa para convertir la fórmula en una forma que coincida con la PDF de una distribución conocida. Cuando esto se puede hacer, la constante de normalización se puede restablecer por definición y se pueden derivar ecuaciones para los parámetros de la distribución conocida extrayendo las partes apropiadas de la fórmula.
  7. Cuando todas las expectativas pueden reemplazarse analíticamente con funciones de variables que no están en la partición actual, y la PDF puede ponerse en una forma que permite la identificación con una distribución conocida, el resultado es un conjunto de ecuaciones que expresan los valores de los parámetros óptimos como funciones de los parámetros de las variables en otras particiones.
  8. Cuando este procedimiento se puede aplicar a todas las particiones, el resultado es un conjunto de ecuaciones mutuamente vinculadas que especifican los valores óptimos de todos los parámetros.
  9. Luego se aplica un procedimiento de tipo expectativa-maximización (EM), eligiendo un valor inicial para cada parámetro y repitiendo una serie de pasos, donde en cada paso recorremos las ecuaciones, actualizando cada parámetro a su vez. Se garantiza que esto convergerá.

Puntos más importantes

Debido a todas las manipulaciones matemáticas involucradas, es fácil perder de vista el panorama general. Los aspectos importantes son:

  1. La idea del Bayes variacional es construir una aproximación analítica a la probabilidad posterior del conjunto de variables no observadas (parámetros y variables latentes), dados los datos. Esto significa que la forma de la solución es similar a otros métodos de inferencia bayesianos , como el muestreo de Gibbs , es decir, una distribución que busca describir todo lo que se sabe sobre las variables. Al igual que en otros métodos bayesianos, pero a diferencia, por ejemplo, de la expectativa-maximización (EM) u otros métodos de máxima verosimilitud , ambos tipos de variables no observadas (es decir, parámetros y variables latentes) se tratan de la misma manera, es decir, como variables aleatorias . Las estimaciones para las variables se pueden derivar de las formas bayesianas estándar, por ejemplo, calculando la media de la distribución para obtener una única estimación puntual o derivando un intervalo creíble , la región de mayor densidad, etc.
  2. "Aproximación analítica" significa que se puede escribir una fórmula para la distribución posterior. La fórmula generalmente consiste en un producto de distribuciones de probabilidad bien conocidas, cada una de las cuales se factoriza sobre un conjunto de variables no observadas (es decir, es condicionalmente independiente de las otras variables, dados los datos observados). Esta fórmula no es la distribución posterior verdadera, sino una aproximación a ella; en particular, generalmente concordará bastante en los momentos más bajos de las variables no observadas, por ejemplo, la media y la varianza .
  3. El resultado de todas las manipulaciones matemáticas es (1) la identidad de las distribuciones de probabilidad que forman los factores y (2) fórmulas mutuamente dependientes para los parámetros de estas distribuciones. Los valores reales de estos parámetros se calculan numéricamente, a través de un procedimiento iterativo alterno muy parecido al EM.

En comparación con la expectativa-maximización (EM)

El método Bayes variacional (VB) suele compararse con el de expectativa-maximización (EM). El procedimiento numérico real es bastante similar, ya que ambos son procedimientos iterativos alternativos que convergen sucesivamente en valores óptimos de parámetros. Los pasos iniciales para derivar los respectivos procedimientos también son vagamente similares, ya que ambos comienzan con fórmulas para densidades de probabilidad y ambos implican cantidades significativas de manipulaciones matemáticas.

Sin embargo, existen varias diferencias. La más importante es lo que se está calculando.

Un ejemplo más complejo

Modelo de mezcla gaussiana bayesiana que utiliza notación de placas . Los cuadrados más pequeños indican parámetros fijos; los círculos más grandes indican variables aleatorias. Las formas rellenas indican valores conocidos. La indicación [K] significa un vector de tamaño K ; [ D , D ] significa una matriz de tamaño D × D ; K solo significa una variable categórica con K resultados. La línea ondulada que sale de z y termina en una barra transversal indica un interruptor : el valor de esta variable selecciona, para las otras variables entrantes, qué valor utilizar de la matriz de tamaño K de valores posibles.

Imaginemos un modelo de mezcla gaussiana bayesiana descrito de la siguiente manera: [3]

Nota:

La interpretación de las variables anteriores es la siguiente:

La probabilidad conjunta de todas las variables se puede reescribir como

donde están los factores individuales

dónde

Supongamos que .

Entonces [3]

donde hemos definido

Exponenciando ambos lados de la fórmula para obtener rendimientos

Requerir que esto se normalice termina requiriendo que la suma sea 1 para todos los valores de , lo que da como resultado

dónde

En otras palabras, es un producto de distribuciones multinomiales de observación única y factores sobre cada individuo , que se distribuye como una distribución multinomial de observación única con parámetros para .

Además, observamos que

que es un resultado estándar para distribuciones categóricas.

Ahora, considerando el factor , note que se incluye automáticamente en debido a la estructura del modelo gráfico que define nuestro modelo de mezcla gaussiana, que se especifica arriba.

Entonces,

Tomando la exponencial de ambos lados, la reconocemos como una distribución de Dirichlet

dónde

dónde

Finalmente

Agrupando y leyendo términos que involucran y , el resultado es una distribución Gaussiana-Wishart dada por

Dadas las definiciones

Por último, observe que estas funciones requieren los valores de , que hacen uso de , que se define a su vez en función de , , y . Ahora que hemos determinado las distribuciones sobre las que se toman estas expectativas, podemos derivar fórmulas para ellas:

Estos resultados conducen a

Estos se pueden convertir de valores proporcionales a absolutos normalizándolos de modo que los valores correspondientes sumen 1.

Tenga en cuenta que:

  1. Las ecuaciones de actualización de los parámetros , , y de las variables y dependen de las estadísticas , , y , y estas estadísticas a su vez dependen de .
  2. Las ecuaciones de actualización de los parámetros de la variable dependen del estadístico , que depende a su vez de .
  3. La ecuación de actualización para tiene una dependencia circular directa de , , y así como una dependencia circular indirecta de , y a través de y .

Esto sugiere un procedimiento iterativo que alterna entre dos pasos:

  1. Un paso E que calcula el valor utilizando los valores actuales de todos los demás parámetros.
  2. Un paso M que utiliza el nuevo valor de para calcular nuevos valores de todos los demás parámetros.

Obsérvese que estos pasos se corresponden estrechamente con el algoritmo EM estándar para derivar una solución de máxima verosimilitud o máxima a posteriori (MAP) para los parámetros de un modelo de mezcla gaussiana . Las responsabilidades en el paso E se corresponden estrechamente con las probabilidades posteriores de las variables latentes dados los datos, es decir ; el cálculo de las estadísticas , , y se corresponde estrechamente con el cálculo de las estadísticas de "conteo suave" correspondientes sobre los datos; y el uso de esas estadísticas para calcular nuevos valores de los parámetros se corresponde estrechamente con el uso de conteos suaves para calcular nuevos valores de parámetros en EM normal sobre un modelo de mezcla gaussiana.

Distribuciones de familias exponenciales

Obsérvese que en el ejemplo anterior, una vez que se supuso que la distribución sobre las variables no observadas se factorizaba en distribuciones sobre los "parámetros" y distribuciones sobre los "datos latentes", la "mejor" distribución derivada para cada variable estaba en la misma familia que la distribución previa correspondiente sobre la variable. Este es un resultado general que se cumple para todas las distribuciones previas derivadas de la familia exponencial .

Véase también

Referencias

  1. ^ abcd Tran, Viet Hung (2018). "Inferencia bayesiana variacional de cópula mediante geometría de la información". arXiv : 1803.10998 [cs.IT].
  2. ^ por Adamčík, Martin (2014). "La geometría de la información de las divergencias de Bregman y algunas aplicaciones en el razonamiento multiexperto". Entropy . 16 (12): 6338–6381. Bibcode :2014Entrp..16.6338A. doi : 10.3390/e16126338 .
  3. ^ abc Nguyen, Duy (15 de agosto de 2023). "UNA INTRODUCCIÓN EN PROFUNDIDAD A LA NOTA VARIACIONAL DE BAYES". doi :10.2139/ssrn.4541076. SSRN  4541076 . Consultado el 15 de agosto de 2023 .
  4. ^ abc Lee, Se Yoon (2021). "Inferencia variacional de ascenso de coordenadas y muestreador de Gibbs: una revisión de la teoría de conjuntos". Comunicaciones en estadística: teoría y métodos . 51 (6): 1–21. arXiv : 2008.01006 . doi :10.1080/03610926.2021.1921214. S2CID  220935477.
  5. ^ Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Cambridge University Press. ISBN 978-0-521-83378-3. Recuperado el 15 de octubre de 2011 .
  6. ^ Bishop, Christopher M. (2006). "Capítulo 10". Reconocimiento de patrones y aprendizaje automático . Springer. ISBN 978-0-387-31073-2.
  7. ^ Sotirios P. Chatzis, “Máquinas de discriminación de máxima entropía con conmutación infinita de Markov”, Proc. 30.ª Conferencia Internacional sobre Aprendizaje Automático (ICML). Journal of Machine Learning Research: Workshop and Conference Proceedings, vol. 28, n.º 3, págs. 729–737, junio de 2013.

Enlaces externos