En ingeniería eléctrica, informática estadística y bioinformática, el algoritmo de Baum-Welch es un caso especial del algoritmo de maximización de expectativas utilizado para encontrar los parámetros desconocidos de un modelo oculto de Markov (HMM).
Utiliza el algoritmo de avance-retroceso para calcular las estadísticas del paso de expectativa.
Uno de los problemas relacionados con los Modelos Ocultos de Márkov (MOM) es el de encontrar un modelo
, es decir, determinar el modelo que mejor explica tal secuencia.
El problema es que no es posible encontrar tal modelo analíticamente y por ello es necesario un algoritmo iterativo como el de Baum y Welch, que permite estimar los parámetros de un modelo que hacen máxima la probabilidad de una secuencia de observables.
Dada una secuencia de observaciones
, el algoritmo de Baum y Welch permite estimar los parámetros
de un Modelo oculto de Márkov (MOM) que maximizan la probabilidad de dicha secuencia, es decir,
Antes de describir el proceso de estimación, necesitamos conocer: Para ello definimos previamente
{\displaystyle \xi _{t}{(i,j)}}
como la probabilidad de estar en el estado
{\displaystyle \xi _{t}{(i,j)}={\frac {P(q_{t}=i,q_{t+1}=j,O|\mu )}{P(O|\mu )}}={\frac {\alpha _{t}{(i)}a_{ij}b_{j}(o_{t+1})\beta _{t+1}(j)}{P(O|\mu )}}}
{\displaystyle \xi _{t}{(i,j)}={\frac {\alpha _{t}{(i)}a_{ij}b_{j}(o_{t+1})\beta _{t+1}(j)}{\displaystyle \sum _{k=1}^{N}\displaystyle \sum _{l=1}^{N}{\alpha _{t}(k)a_{kl}b_{l}(o_{t+1})\beta _{t+1}(l)}}}}
se pueden calcular eficientemente con el algoritmo de avance-retroceso.
La figura muestra un esquema parcial de los elementos necesarios para el cálculo de
ξ ( i , j )
como la probabilidad de estar en el estado
en cada instante de tiempo, obtenemos:
y haciendo lo mismo con cada
{\displaystyle \xi _{t}(i,j)}
{\displaystyle \displaystyle \sum _{t=1}^{T-1}{\xi _{t}(i,j)}}
El funcionamiento del procedimiento iterativo es básicamente el siguiente: Este proceso de entrenamiento se repite varias veces hasta que no exista mejora entre un modelo y el siguiente revisado.
Probabilidad de estar en el estado
El numerador representa el número esperado de transiciones de
, y el denominador representa el número esperado de transiciones desde
{\displaystyle {\bar {a}}_{ij}={\frac {\displaystyle \sum _{t=1}^{T-1}{\xi _{t}(i,j)}}{\displaystyle \sum _{t=1}^{T-1}{\gamma _{t}(i)}}}}
El numerador representa el número esperado de veces que se pasa por el estado
y se observa
, y el denominador representa el número esperado de veces que se pasa por el estado
Otros dos problemas que es importante saber resolver para utilizar los MOM son: