Propagación de expectativas

Método para aproximar una distribución de probabilidad

La propagación de expectativas (EP) es una técnica del aprendizaje automático bayesiano . ^[1]

EP encuentra aproximaciones a una distribución de probabilidad . ^[1] Utiliza un enfoque iterativo que utiliza la estructura de factorización de la distribución objetivo. ^[1] Se diferencia de otros enfoques de aproximación bayesianos, como los métodos bayesianos variacionales . ^[1]

Más específicamente, supongamos que deseamos aproximar una distribución de probabilidad intratable con una distribución tratable . La propagación de expectativas logra esta aproximación al minimizar la divergencia de Kullback-Leibler . ^[1] Los métodos bayesianos variacionales minimizan en cambio. ^[1] ${\displaystyle p(\mathbf {x} )}$ ${\displaystyle q(\mathbf {x} )}$ ${\displaystyle \mathrm {KL} (p||q)}$ ${\displaystyle \mathrm {KL} (q||p)}$

Si es una gaussiana , entonces se minimiza con y siendo igual a la media de y la covarianza de , respectivamente; esto se llama coincidencia de momentos. ^[1] ${\displaystyle q(\mathbf {x} )}$ ${\displaystyle {\mathcal {N}}(\mathbf {x} |\mu ,\Sigma )}$ ${\displaystyle \mathrm {KL} (p||q)}$ ${\displaystyle \mu }$ ${\displaystyle \Sigma }$ ${\displaystyle p(\mathbf {x} )}$ ${\displaystyle p(\mathbf {x} )}$

Aplicaciones

La propagación de expectativas a través de la coincidencia de momentos juega un papel vital en la aproximación de las funciones indicadoras que aparecen al derivar las ecuaciones de paso de mensajes para TrueSkill .

Referencias

1. Bishop, Christopher (2007). Reconocimiento de patrones y aprendizaje automático . Nueva York: Springer-Verlag New York Inc. ISBN 978-0387310732.

• Thomas Minka (2–5 de agosto de 2001). "Propagación de expectativas para inferencia bayesiana aproximada". En Jack S. Breese, Daphne Koller (ed.). UAI '01: Actas de la 17.ª Conferencia sobre incertidumbre en inteligencia artificial (PDF) . Universidad de Washington, Seattle, Washington, EE. UU., págs. 362–369.{{cite book}}: Mantenimiento de CS1: falta la ubicación del editor ( enlace )

Enlaces externos

• Documentos EP de Minka
• Lista de artículos que utilizan EP.