Cadena de Márkov
A. Markov definió la "cadena simple" como "una secuencia infinita
Markov llamó a la cadena "homogénea" si la distribución condicional de
También consideró cadenas "complejas (complex en inglés)" en las que "cada número está conectado directamente no sólo con uno, sino con varios números anteriores".
[1] Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo introdujo en 1906.
[1] Estos modelos estadísticos cuentan con un gran número de aplicaciones reales.
En matemáticas, una Cadena de Markov es un proceso estocástico a tiempo discreto
en un paso no depende del tiempo en el que se encuentra la cadena, esto es: para todo
se denota por Cuando la cadena es homogénea, esta probabilidad se denota por que representa la probabilidad de pasar del estado
Las probabilidades de transición suelen venir dadas mediante números reales.
[2][3] Así, por ejemplo, se pueden estimar mediante intervalos modales[4] o por números borrosos.
Esta relación induce una partición del espacio de estados.
denota la primera vez que la cadena entra al conjunto de estados
denota la probabilidad de regresar por primera vez al estado
Y se definen como la probabilidad de una eventual visita a partir del estado
, diremos que: o utilizando las probabilidades de transición en
Esta esperanza representa el número de pasos promedio que a la cadena le toma regresar al estado recurrente
es La recurrencia positiva es una propiedad de clase pues Se dice que el vector
si En forma matricial lo anterior es equivalente a
y significa que si una variable aleatoria inicial
, es decir, esta distribución no cambia con el paso del tiempo.
Para encontrar una posible distribución estacionaria de una cadena con matriz
, un método consiste en resolver el sistema de ecuaciones La distribución estacionaria puede no ser única o incluso no existir.
Si una Cadena de Markov es irreducible y recurrente positiva entonces tiene una única distribución estacionaria y esta está dada por donde
Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por: Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
En el caso de cadenas regulares, este vector invariante es único.
Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes: Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados: donde la submatriz Q corresponde a los estados del conjunto
Si en lugar de considerar una secuencia discreta
de números naturales, se consideran las variables aleatorias
Para una cadena de Márkov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:[6] Y puede demostrarse que la matriz estocástica viene dada por: Si consideramos el tiempo atmosférico de una región a través de distintos días, es posible asumir que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos.
Uno de los compositores que usó esta técnica en sus composiciones fue Iannis Xenakis con su obra Analoguique A et B (1958–59).
