En teoría de la probabilidad , un modelo de Markov es un modelo estocástico utilizado para modelar sistemas que cambian de forma pseudoaleatoria. Se supone que los estados futuros dependen solo del estado actual, no de los eventos que ocurrieron antes de él (es decir, supone la propiedad de Markov ). Generalmente, esta suposición permite el razonamiento y el cálculo con el modelo que de otra manera serían intratables . Por esta razón, en los campos del modelado predictivo y la previsión probabilística , es deseable que un modelo dado muestre la propiedad de Markov.
Hay cuatro modelos de Markov comunes que se utilizan en diferentes situaciones, dependiendo de si cada estado secuencial es observable o no y de si el sistema debe ajustarse en función de las observaciones realizadas:
El modelo de Markov más simple es la cadena de Markov . Modela el estado de un sistema con una variable aleatoria que cambia a través del tiempo. En este contexto, la propiedad de Markov indica que la distribución de esta variable depende únicamente de la distribución de un estado anterior. Un ejemplo de uso de una cadena de Markov es la cadena de Markov Monte Carlo , que utiliza la propiedad de Markov para demostrar que un método particular para realizar un recorrido aleatorio tomará muestras de la distribución conjunta .
Un modelo oculto de Markov es una cadena de Markov cuyo estado es solo parcialmente observable o ruidosamente observable. En otras palabras, las observaciones están relacionadas con el estado del sistema, pero normalmente son insuficientes para determinar con precisión el estado. Existen varios algoritmos conocidos para los modelos ocultos de Markov. Por ejemplo, dada una secuencia de observaciones, el algoritmo de Viterbi calculará la secuencia de estados correspondiente más probable, el algoritmo de avance calculará la probabilidad de la secuencia de observaciones y el algoritmo de Baum-Welch estimará las probabilidades iniciales, la función de transición y la función de observación de un modelo oculto de Markov.
Un uso común es el reconocimiento de voz , donde los datos observados son la forma de onda del audio del habla y el estado oculto es el texto hablado. En este ejemplo, el algoritmo de Viterbi encuentra la secuencia más probable de palabras habladas dado el audio del habla.
Un proceso de decisión de Markov es una cadena de Markov en la que las transiciones de estado dependen del estado actual y de un vector de acción que se aplica al sistema. Normalmente, un proceso de decisión de Markov se utiliza para calcular una política de acciones que maximizará cierta utilidad con respecto a las recompensas esperadas.
Un proceso de decisión de Markov parcialmente observable (POMDP) es un proceso de decisión de Markov en el que el estado del sistema se observa solo parcialmente. Se sabe que los POMDP son NP completos , pero las técnicas de aproximación recientes los han hecho útiles para una variedad de aplicaciones, como el control de agentes simples o robots. [1]
Un campo aleatorio de Markov , o red de Markov, puede considerarse una generalización de una cadena de Markov en múltiples dimensiones. En una cadena de Markov, el estado depende únicamente del estado anterior en el tiempo, mientras que en un campo aleatorio de Markov, cada estado depende de sus vecinos en cualquiera de múltiples direcciones. Un campo aleatorio de Markov puede visualizarse como un campo o gráfico de variables aleatorias, donde la distribución de cada variable aleatoria depende de las variables vecinas con las que está conectado. Más específicamente, la distribución conjunta para cualquier variable aleatoria en el gráfico puede calcularse como el producto de los "potenciales de camarilla" de todas las camarillas en el gráfico que contienen esa variable aleatoria. Modelar un problema como un campo aleatorio de Markov es útil porque implica que las distribuciones conjuntas en cada vértice del gráfico pueden calcularse de esta manera.
Los modelos jerárquicos de Markov se pueden aplicar para categorizar el comportamiento humano en varios niveles de abstracción. Por ejemplo, una serie de observaciones simples, como la ubicación de una persona en una habitación, se puede interpretar para determinar información más compleja, como qué tarea o actividad está realizando la persona. Dos tipos de modelos jerárquicos de Markov son el modelo jerárquico oculto de Markov [2] y el modelo abstracto oculto de Markov [3] . Ambos se han utilizado para el reconocimiento de comportamientos [4] y ciertas propiedades de independencia condicional entre diferentes niveles de abstracción en el modelo permiten un aprendizaje y una inferencia más rápidos. [3] [5]
Un modelo tolerante de Markov (TMM) es un modelo probabilístico-algorítmico de cadena de Markov. [6] Asigna las probabilidades de acuerdo con un contexto de condicionamiento que considera el último símbolo de la secuencia que aparece como el más probable en lugar del símbolo que realmente aparece. Un TMM puede modelar tres naturalezas diferentes: sustituciones, adiciones o deleciones. Se han implementado aplicaciones exitosas de manera eficiente en la compresión de secuencias de ADN. [6] [7]
Las cadenas de Markov se han utilizado como métodos de pronóstico para varios temas, por ejemplo, tendencias de precios, [8] energía eólica [9] e irradiancia solar . [10] Los modelos de pronóstico de cadenas de Markov utilizan una variedad de configuraciones diferentes, desde la discretización de las series temporales [9] hasta modelos de Markov ocultos combinados con wavelets [8] y el modelo de distribución de mezcla de cadenas de Markov (MCM). [10]