cadena de markov

Proceso aleatorio independiente de la historia pasada.

Un diagrama que representa un proceso de Markov de dos estados. Los números son la probabilidad de cambiar de un estado a otro.

Una cadena de Markov o proceso de Markov es un modelo estocástico que describe una secuencia de posibles eventos en la que la probabilidad de cada evento depende únicamente del estado alcanzado en el evento anterior. ^{[1] [2] [3]} Informalmente, esto puede considerarse como: "Lo que suceda a continuación depende sólo del estado actual de las cosas ". Una secuencia infinitamente numerable , en la que la cadena se mueve de estado en pasos de tiempo discretos, da una cadena de Markov de tiempo discreto (DTMC). Un proceso de tiempo continuo se denomina cadena de Markov de tiempo continuo (CTMC). Lleva el nombre del matemático ruso Andrey Markov .

Las cadenas de Markov tienen muchas aplicaciones como modelos estadísticos de procesos del mundo real, ^{[1] [4] [5] [6]} como el estudio de sistemas de control de crucero en vehículos de motor , colas o filas de clientes que llegan a un aeropuerto, tipos de cambio de divisas y dinámica de poblaciones animales. ^[7]

Los procesos de Markov son la base de los métodos de simulación estocástica general conocidos como cadena de Markov Monte Carlo , que se utilizan para simular muestreos a partir de distribuciones de probabilidad complejas y han encontrado aplicación en estadística bayesiana , termodinámica , mecánica estadística , física , química , economía , finanzas y señales . procesamiento , teoría de la información y procesamiento del habla . ^{[7] [8] [9]}

Los adjetivos markovianos y markovianos se utilizan para describir algo relacionado con un proceso de Markov. ^{[1] [10] [11]}

Principios

El matemático ruso Andréi Markov.

Definición

Un proceso de Markov es un proceso estocástico que satisface la propiedad de Markov ^[1] (a veces caracterizada como " falta de memoria "). En términos más simples, es un proceso para el cual se pueden hacer predicciones sobre resultados futuros basándose únicamente en su estado actual y, lo más importante, tales predicciones son tan buenas como las que podrían hacerse conociendo la historia completa del proceso. ^[12] En otras palabras, condicionado al estado presente del sistema, sus estados futuro y pasado son independientes .

Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estados discreto o un conjunto de índices discretos (que a menudo representa el tiempo), pero la definición precisa de una cadena de Markov varía. ^[13] Por ejemplo, es común definir una cadena de Markov como un proceso de Markov en tiempo discreto o continuo con un espacio de estados contable (por lo tanto, independientemente de la naturaleza del tiempo), ^{[14] [15] [16] [17 ]} pero también es común definir una cadena de Markov como si tuviera tiempo discreto en un espacio de estados contable o continuo (por lo tanto, independientemente del espacio de estados). ^[13]

Tipos de cadenas de Markov

Es necesario especificar el índice de parámetros de tiempo y espacio de estado del sistema . La siguiente tabla ofrece una descripción general de las diferentes instancias de procesos de Markov para diferentes niveles de generalidad del espacio de estados y para tiempo discreto versus tiempo continuo:

Tenga en cuenta que no existe un acuerdo definitivo en la literatura sobre el uso de algunos de los términos que indican casos especiales de procesos de Markov. Por lo general, el término "cadena de Markov" se reserva para un proceso con un conjunto discreto de tiempos, es decir, una cadena de Markov de tiempo discreto (DTMC) , ^{[1] [18]} pero algunos autores utilizan el término "proceso de Markov" para referirse a una cadena de Markov de tiempo continuo (CTMC) sin mención explícita. ^{[19] [20] [21]} Además, existen otras extensiones de los procesos de Markov a las que se hace referencia como tales pero que no necesariamente caen dentro de ninguna de estas cuatro categorías (ver modelo de Markov ). Además, el índice de tiempo no tiene por qué tener necesariamente un valor real; Al igual que con el espacio de estados, existen procesos concebibles que se mueven a través de conjuntos de índices con otras construcciones matemáticas. Observe que la cadena de Markov de tiempo continuo del espacio de estados general es general hasta tal punto que no tiene un término designado.

Si bien el parámetro de tiempo suele ser discreto, el espacio de estados de una cadena de Markov no tiene restricciones generalmente acordadas: el término puede referirse a un proceso en un espacio de estados arbitrario. ^[22] Sin embargo, muchas aplicaciones de las cadenas de Markov emplean espacios de estados finitos o contablemente infinitos , que tienen un análisis estadístico más sencillo. Además de los parámetros de índice de tiempo y espacio de estados, existen muchas otras variaciones, extensiones y generalizaciones (ver Variaciones). Para simplificar, la mayor parte de este artículo se concentra en el caso de tiempo discreto y espacio de estados discreto, a menos que se indique lo contrario.

Transiciones

Los cambios de estado del sistema se denominan transiciones. ^[1] Las probabilidades asociadas con varios cambios de estado se denominan probabilidades de transición. El proceso se caracteriza por un espacio de estados, una matriz de transición que describe las probabilidades de transiciones particulares y un estado inicial (o distribución inicial) en todo el espacio de estados. Por convención, asumimos que todos los estados y transiciones posibles se han incluido en la definición del proceso, por lo que siempre hay un estado siguiente y el proceso no termina.

Un proceso aleatorio en tiempo discreto involucra un sistema que se encuentra en un cierto estado en cada paso, y el estado cambia aleatoriamente entre pasos. ^[1] Los pasos a menudo se consideran momentos en el tiempo, pero también pueden referirse a una distancia física o cualquier otra medida discreta. Formalmente, los pasos son los números enteros o naturales , y el proceso aleatorio es un mapeo de estos a estados. ^[23] La propiedad de Markov establece que la distribución de probabilidad condicional para el sistema en el siguiente paso (y de hecho en todos los pasos futuros) depende sólo del estado actual del sistema, y ​​no adicionalmente del estado del sistema en los pasos anteriores. .

Dado que el sistema cambia aleatoriamente, generalmente es imposible predecir con certeza el estado de una cadena de Markov en un momento dado en el futuro. ^[23] Sin embargo, las propiedades estadísticas del futuro del sistema se pueden predecir. ^[23] En muchas aplicaciones, son estas propiedades estadísticas las que son importantes.

Historia

Andrey Markov estudió los procesos de Markov a principios del siglo XX y publicó su primer artículo sobre el tema en 1906. ^{[24] [25] [26] [27]} Los procesos de Markov en tiempo continuo se descubrieron mucho antes de su trabajo a principios del siglo XX ^{[ 1]} en forma del proceso de Poisson . ^{[28] [29] [30]} Markov estaba interesado en estudiar una extensión de secuencias aleatorias independientes, motivado por un desacuerdo con Pavel Nekrasov , quien afirmaba que la independencia era necesaria para que se cumpliera la ley débil de los grandes números . ^{[1] [31]} En su primer artículo sobre las cadenas de Markov, publicado en 1906, Markov demostró que bajo ciertas condiciones los resultados promedio de la cadena de Markov convergerían a un vector fijo de valores, demostrando así una ley débil de grandes números sin la supuesto de independencia, ^{[1] [25] [26] [27]} que se había considerado comúnmente como un requisito para que tales leyes matemáticas se cumplieran. ^[27] Más tarde, Markov utilizó cadenas de Markov para estudiar la distribución de vocales en Eugene Onegin , escrito por Alexander Pushkin , y demostró un teorema de límite central para tales cadenas. ^{[1] [25]}

En 1912 , Henri Poincaré estudió las cadenas de Markov en grupos finitos con el objetivo de estudiar el barajado de cartas. Otros usos tempranos de las cadenas de Markov incluyen un modelo de difusión, introducido por Paul y Tatyana Ehrenfest en 1907, y un proceso de ramificación, introducido por Francis Galton y Henry William Watson en 1873, que precede al trabajo de Markov. ^{[25] [26]} Después del trabajo de Galton y Watson, más tarde se reveló que su proceso de ramificación había sido descubierto y estudiado de forma independiente unas tres décadas antes por Irénée-Jules Bienaymé . ^[32] A partir de 1928, Maurice Fréchet se interesó por las cadenas de Markov, lo que finalmente le llevó a publicar en 1938 un estudio detallado sobre las cadenas de Markov. ^{[25] [33]}

Andrey Kolmogorov desarrolló en un artículo de 1931 gran parte de la teoría inicial de los procesos de Markov en tiempo continuo. ^{[34] [35]} Kolmogorov se inspiró en parte en el trabajo de Louis Bachelier de 1900 sobre las fluctuaciones en el mercado de valores, así como en el trabajo de Norbert Wiener sobre el modelo de movimiento browniano de Einstein. ^{[34] [36]} Introdujo y estudió un conjunto particular de procesos de Markov conocidos como procesos de difusión, donde derivó un conjunto de ecuaciones diferenciales que describen los procesos. ^{[34] [37]} Independientemente del trabajo de Kolmogorov, Sydney Chapman derivó en un artículo de 1928 una ecuación, ahora llamada ecuación de Chapman-Kolmogorov , de una manera matemáticamente menos rigurosa que Kolmogorov, mientras estudiaba el movimiento browniano. ^[38] Las ecuaciones diferenciales ahora se denominan ecuaciones de Kolmogorov ^[39] o ecuaciones de Kolmogorov-Chapman. ^[40] Otros matemáticos que contribuyeron significativamente a los fundamentos de los procesos de Markov incluyen a William Feller , a partir de la década de 1930, y luego a Eugene Dynkin , a partir de la década de 1950. ^[35]

Ejemplos

• Los paseos aleatorios basados ​​en números enteros y el problema de la ruina del jugador son ejemplos de procesos de Markov. ^{[41] [42]} Algunas variaciones de estos procesos se estudiaron cientos de años antes en el contexto de variables independientes. ^{[43] [44] [45]} Dos ejemplos importantes de procesos de Markov son el proceso de Wiener , también conocido como proceso de movimiento browniano , y el proceso de Poisson , ^[28] que se consideran los procesos estocásticos más importantes y centrales en la teoría de procesos estocásticos. ^{[46] [47] [48]} Estos dos procesos son procesos de Markov en tiempo continuo, mientras que los paseos aleatorios sobre números enteros y el problema de la ruina del jugador son ejemplos de procesos de Markov en tiempo discreto. ^{[41] [42]}
• Una famosa cadena de Markov es la llamada "caminata del borracho", una caminata aleatoria en la recta numérica donde, en cada paso, la posición puede cambiar en +1 o −1 con igual probabilidad. Desde cualquier posición hay dos transiciones posibles, al número entero siguiente o anterior. Las probabilidades de transición dependen sólo de la posición actual, no de la forma en que se alcanzó la posición. Por ejemplo, las probabilidades de transición de 5 a 4 y de 5 a 6 son ambas 0,5, y todas las demás probabilidades de transición de 5 son 0. Estas probabilidades son independientes de si el sistema estaba anteriormente en 4 o 6.
• Una serie de estados independientes (por ejemplo, una serie de lanzamientos de moneda) satisface la definición formal de cadena de Markov. Sin embargo, la teoría suele aplicarse sólo cuando la distribución de probabilidad del siguiente estado depende del actual.

Un ejemplo que no es de Markov

Supongamos que hay un monedero que contiene cinco monedas de veinticinco centavos (cada una con un valor de 25 centavos), cinco monedas de diez centavos (cada una con un valor de 10 centavos) y cinco monedas de cinco centavos (cada una con un valor de 5 centavos), y una por una, las monedas se extraen al azar del monedero y se puesto sobre una mesa. Si representa el valor total de las monedas colocadas en la mesa después de n sorteos, con , entonces la secuencia no es un proceso de Markov. ${\displaystyle X_{n}}$ ${\displaystyle X_{0}=0}$ ${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$

Para ver por qué es así, supongamos que en los primeros seis sorteos, se extraen las cinco monedas de cinco y veinticinco centavos. De este modo . Si conocemos no sólo , sino también los valores anteriores, entonces podemos determinar qué monedas se han extraído y sabemos que la siguiente moneda no será una moneda de cinco centavos; entonces podemos determinar eso con probabilidad 1. Pero si no conocemos los valores anteriores, basándonos únicamente en el valor podríamos suponer que habíamos sacado cuatro monedas de diez centavos y dos monedas de cinco centavos, en cuyo caso ciertamente sería posible sacar otra moneda de cinco centavos. próximo. Por lo tanto, nuestras conjeturas sobre se ven afectadas por nuestro conocimiento de los valores antes de . ${\displaystyle X_{6}=\$0.50}$ ${\displaystyle X_{6}}$ ${\displaystyle X_{7}\geq \$0.60}$ ${\displaystyle X_{6}}$ ${\displaystyle X_{7}}$ ${\displaystyle X_{6}}$

Sin embargo, es posible modelar este escenario como un proceso de Markov. En lugar de definir representar el valor total de las monedas en la mesa, podríamos definir representar el recuento de los distintos tipos de monedas en la mesa. Por ejemplo, podría definirse para representar el estado en el que hay una moneda de veinticinco centavos, cero monedas de diez centavos y cinco monedas de cinco centavos en la mesa después de 6 sorteos uno por uno. Este nuevo modelo podría estar representado por posibles estados, donde cada estado representa la cantidad de monedas de cada tipo (de 0 a 5) que hay sobre la mesa. (No se puede acceder a todos estos estados en 6 sorteos). Supongamos que el primer sorteo da como resultado el estado . La probabilidad de lograrlo ahora depende de ; por ejemplo, el Estado no es posible. Después del segundo sorteo, el tercer sorteo depende de qué monedas se han extraído hasta ahora, pero ya no sólo de las monedas extraídas para el primer estado (ya que desde entonces se ha añadido al escenario información probabilísticamente importante). De esta manera, la probabilidad del Estado depende exclusivamente del resultado del Estado. ${\displaystyle X_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle X_{6}=1,0,5}$ ${\displaystyle 6\times 6\times 6=216}$ ${\displaystyle X_{1}=0,1,0}$ ${\displaystyle X_{2}}$ ${\displaystyle X_{1}}$ ${\displaystyle X_{2}=1,0,1}$ ${\displaystyle X_{n}=i,j,k}$ ${\displaystyle X_{n-1}=\ell ,m,p}$

Definicion formal

Cadena de Markov en tiempo discreto

Una cadena de Markov en tiempo discreto es una secuencia de variables aleatorias X ₁ , X ₂ , X ₃ , ... con la propiedad de Markov , es decir, que la probabilidad de pasar al siguiente estado depende sólo del estado actual y no del anterior. estados:

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$si ambas probabilidades condicionales están bien definidas, es decir, si ${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

Los posibles valores de X _i forman un conjunto contable S llamado espacio de estados de la cadena.

Variaciones

• Las cadenas de Markov homogéneas en el tiempo son procesos en los que
  $${\displaystyle \Pr(X_{n+1}=x\mid X_{n}=y)=\Pr(X_{n}=x\mid X_{n-1}=y)}$$
  para todos n . La probabilidad de la transición es independiente de n .
• Las cadenas de Markov estacionarias son procesos donde
  $${\displaystyle \Pr(X_{0}=x_{0},X_{1}=x_{1},\ldots ,X_{k}=x_{k})=\Pr(X_{n}=x_{0},X_{n+1}=x_{1},\ldots ,X_{n+k}=x_{k})}$$
  para todo n y k . Se puede demostrar que toda cadena estacionaria es homogénea en el tiempo mediante la regla de Bayes.
  Una condición necesaria y suficiente para que una cadena de Markov homogénea en el tiempo sea estacionaria es que la distribución de sea una distribución estacionaria de la cadena de Markov. ${\displaystyle X_{0}}$
• Una cadena de Markov con memoria (o una cadena de Markov de orden m ) donde m es finita, es un proceso que satisface
  $${\displaystyle {\begin{aligned}{}&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{1}=x_{1})\\=&\Pr(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},\dots ,X_{n-m}=x_{n-m}){\text{ for }}n>m\end{aligned}}}$$
  En otras palabras, el estado futuro depende de los m estados pasados. Es posible construir una cadena que tenga la propiedad de Markov "clásica" tomando como espacio de estados las m -tuplas ordenadas de valores X , es decir, . ${\displaystyle (Y_{n})}$ ${\displaystyle (X_{n})}$ ${\displaystyle Y_{n}=\left(X_{n},X_{n-1},\ldots ,X_{n-m+1}\right)}$

Cadena de Markov de tiempo continuo

Una cadena de Markov de tiempo continuo ( X _t ) _{t  ≥ 0} se define por un espacio de estados finito o contable S , una matriz de tasa de transición Q con dimensiones iguales a las del espacio de estados y una distribución de probabilidad inicial definida en el espacio de estados. Para i  ≠  j , los elementos q _ij no son negativos y describen la velocidad del proceso de transición del estado i al estado j . Los elementos q _ii se eligen de manera que cada fila de la matriz de tasas de transición sume cero, mientras que las sumas de filas de una matriz de transición de probabilidad en una cadena de Markov (discreta) sean todas iguales a uno.

Hay tres definiciones equivalentes del proceso. ^[49]

Definición infinitesimal

La cadena de Markov de tiempo continuo se caracteriza por las tasas de transición, las derivadas con respecto al tiempo de las probabilidades de transición entre los estados i y j.

Sea la variable aleatoria que describe el estado del proceso en el momento t , y supongamos que el proceso está en un estado i en el momento t . Entonces, sabiendo que , es independiente de los valores anteriores , y como h → 0 para todo j y para todo t , ${\displaystyle X_{t}}$ ${\displaystyle X_{t}=i}$ ${\displaystyle X_{t+h}=j}$ ${\displaystyle \left(X_{s}:s<t\right)}$

$${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$

delta de Kroneckernotación o pequeñaij ${\displaystyle \delta _{ij}}$ ${\displaystyle q_{ij}}$

Definición de cadena de salto/tiempo de espera

_{Defina una cadena} de Markov de tiempo discreto Y _n para describir el enésimo salto del proceso y las variables S ₁ , S ₂ , S ₃ , ... para describir los tiempos de retención en cada uno de los estados donde Si sigue la distribución exponencial con tasa parámetro - q _{Y yo Y yo} .

Definición de probabilidad de transición

Para cualquier valor n = 0, 1, 2, 3, ... y tiempos indexados hasta este valor de n : t ₀ , t ₁ , t ₂ , ... y todos los estados registrados en esos momentos i ₀ , i ₁ , i ₂ , i ₃ , ... se cumple que

${\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}\mid X_{t_{0}}=i_{0},X_{t_{1}}=i_{1},\ldots ,X_{t_{n}}=i_{n})=p_{i_{n}i_{n+1}}(t_{n+1}-t_{n})}$

donde p _ij es la solución de la ecuación directa (una ecuación diferencial de primer orden )

${\displaystyle P'(t)=P(t)Q}$

con condición inicial P(0) es la matriz identidad .

Espacio de estados finito

Si el espacio de estados es finito , la distribución de probabilidad de transición se puede representar mediante una matriz , llamada matriz de transición, con el ( i , j )ésimo elemento de P igual a

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

Dado que cada fila de P suma uno y todos los elementos no son negativos, P es una matriz estocástica derecha .

Relación de distribución estacionaria con vectores propios y simples.

Una distribución estacionaria π es un vector (fila), cuyas entradas no son negativas y suman 1, no se modifica mediante la operación de la matriz de transición P sobre él y, por lo tanto, se define por

${\displaystyle \pi \mathbf {P} =\pi .}$

Al comparar esta definición con la de un vector propio vemos que los dos conceptos están relacionados y que

${\displaystyle \pi ={\frac {e}{\sum _{i}{e_{i}}}}}$

es un múltiplo normalizado ( ) de un vector propio izquierdo e de la matriz de transición P con un valor propio de 1. Si hay más de un vector propio unitario, entonces una suma ponderada de los estados estacionarios correspondientes también es un estado estacionario. Pero para una cadena de Markov normalmente uno está más interesado en un estado estacionario que es el límite de la secuencia de distribuciones para alguna distribución inicial. ${\textstyle \sum _{i}\pi _{i}=1}$

Los valores de una distribución estacionaria están asociados con el espacio de estados de P y sus vectores propios conservan sus proporciones relativas. Dado que los componentes de π son positivos y la restricción de que su suma es la unidad se puede reescribir como vemos que el producto escalar de π con un vector cuyos componentes son todos 1 es la unidad y que π se encuentra en un simplex . ${\displaystyle \textstyle \pi _{i}}$ ${\textstyle \sum _{i}1\cdot \pi _{i}=1}$

Cadena de Markov homogénea en el tiempo con un espacio de estados finito

Si la cadena de Markov es homogénea en el tiempo, entonces la matriz de transición P es la misma después de cada paso, por lo que la probabilidad de transición de k pasos se puede calcular como la k -ésima potencia de la matriz de transición, P ^k .

Si la cadena de Markov es irreducible y aperiódica, entonces existe una distribución estacionaria única π . ^[50] Además, en este caso P ^k converge a una matriz de rango uno en la que cada fila es la distribución estacionaria π :

${\displaystyle \lim _{k\to \infty }\mathbf {P} ^{k}=\mathbf {1} \pi }$

donde 1 es el vector columna con todas las entradas iguales a 1. Esto lo establece el teorema de Perron-Frobenius . Si, por cualquier medio, se encuentra, entonces la distribución estacionaria de la cadena de Markov en cuestión se puede determinar fácilmente para cualquier distribución inicial, como se explicará a continuación. ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$

Para algunas matrices estocásticas P , el límite no existe mientras que la distribución estacionaria sí, como se muestra en este ejemplo: ${\textstyle \lim _{k\to \infty }\mathbf {P} ^{k}}$

${\displaystyle \mathbf {P} ={\begin{pmatrix}0&1\\1&0\end{pmatrix}}\qquad \mathbf {P} ^{2k}=I\qquad \mathbf {P} ^{2k+1}=\mathbf {P} }$

${\displaystyle {\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}={\begin{pmatrix}{\frac {1}{2}}&{\frac {1}{2}}\end{pmatrix}}}$

(Este ejemplo ilustra una cadena periódica de Markov).

Debido a que hay varios casos especiales diferentes a considerar, el proceso de encontrar este límite, si existe, puede ser una tarea larga. Sin embargo, existen muchas técnicas que pueden ayudar a encontrar este límite. Sea P una matriz n × n y defina ${\textstyle \mathbf {Q} =\lim _{k\to \infty }\mathbf {P} ^{k}.}$

Siempre es cierto que

${\displaystyle \mathbf {QP} =\mathbf {Q} .}$

Restando Q de ambos lados y factorizando se obtiene

${\displaystyle \mathbf {Q} (\mathbf {P} -\mathbf {I} _{n})=\mathbf {0} _{n,n},}$

donde In es la matriz identidad de tamaño n , y ₀ n _{, n es} la matriz cero de tamaño n × n . Al multiplicar matrices estocásticas siempre se obtiene otra matriz estocástica, por lo que Q debe ser una matriz estocástica (consulte la definición anterior). A veces es suficiente usar la ecuación matricial anterior y el hecho de que Q es una matriz estocástica para resolver Q. Incluyendo el hecho de que la suma de cada una de las filas en P es 1, hay n+1 ecuaciones para determinar n incógnitas, por lo que es computacionalmente más fácil si, por un lado, se selecciona una fila en Q y se sustituye cada uno de sus elementos por uno. , y por el otro sustituye el elemento correspondiente (el de la misma columna) en el vector 0 , y luego multiplica a la izquierda este último vector por la inversa de la matriz anterior transformada para encontrar Q .

Aquí hay un método para hacerlo: primero, defina la función f ( A ) para devolver la matriz A con su columna más a la derecha reemplazada con todos los unos. Si [ f ( P − I _n )] ⁻¹ existe entonces ^{[51] [50]}

${\displaystyle \mathbf {Q} =f(\mathbf {0} _{n,n})[f(\mathbf {P} -\mathbf {I} _{n})]^{-1}.}$

Explique: La ecuación matricial original es equivalente a un sistema de n×n ecuaciones lineales en n×n variables. Y hay n ecuaciones lineales más por el hecho de que Q es una matriz estocástica recta cuya suma de cada fila es 1. Por lo tanto, se necesitan n×n ecuaciones lineales independientes de las ecuaciones (n×n+n) para resolver n× norte variables. En este ejemplo, las n ecuaciones de “Q multiplicado por la columna de la derecha de (P-In)” han sido reemplazadas por las n estocásticas.

Una cosa a tener en cuenta es que si P tiene un elemento _Pi , _{i en} su diagonal principal que es igual a 1 y la i -ésima fila o columna está llena de ceros, entonces esa fila o columna permanecerá sin cambios en todas las subsiguientes. potencias P ^k . Por lo tanto, la i- ésima fila o columna de Q tendrá los 1 y los 0 en las mismas posiciones que en P.

Velocidad de convergencia a la distribución estacionaria.

Como se indicó anteriormente, de la ecuación (si existe) la distribución estacionaria (o de estado estable) π es un vector propio izquierdo de la matriz estocástica de filas P. Luego, suponiendo que P es diagonalizable o equivalentemente que P tiene n vectores propios linealmente independientes, la velocidad de convergencia se elabora de la siguiente manera. (Para matrices no diagonalizables, es decir, defectuosas , se puede comenzar con la forma normal de Jordan de P y proceder con un conjunto de argumentos un poco más complicado de manera similar. ^[52] ${\displaystyle {\boldsymbol {\pi }}={\boldsymbol {\pi }}\mathbf {P} ,}$

Sea U la matriz de vectores propios (cada uno normalizado para tener una norma L2 igual a 1) donde cada columna es un vector propio izquierdo de P y sea Σ la matriz diagonal de valores propios izquierdos de P , es decir, Σ = diag( λ ₁ , λ ₂ , λ ₃ ,..., λ _norte ). Luego por descomposición propia

${\displaystyle \mathbf {P} =\mathbf {U\Sigma U} ^{-1}.}$

Enumeremos los valores propios de manera que:

${\displaystyle 1=|\lambda _{1}|>|\lambda _{2}|\geq |\lambda _{3}|\geq \cdots \geq |\lambda _{n}|.}$

Dado que P es una matriz estocástica de filas, su valor propio izquierdo más grande es 1. Si hay una distribución estacionaria única, entonces el valor propio más grande y el vector propio correspondiente también son únicos (porque no hay otro π que resuelva la ecuación de distribución estacionaria anterior). Sea u _i la i -ésima columna de la matriz U , es decir, u _i es el vector propio izquierdo de P correspondiente a λ _i . Sea también x un vector de filas de longitud n que representa una distribución de probabilidad válida; ya que los vectores propios u _i abarcan podemos escribir ${\displaystyle \mathbb {R} ^{n},}$

${\displaystyle \mathbf {x} ^{\mathsf {T}}=\sum _{i=1}^{n}a_{i}\mathbf {u} _{i},\qquad a_{i}\in \mathbb {R} .}$

Si multiplicamos x por P desde la derecha y continuamos esta operación con los resultados, al final obtenemos la distribución estacionaria π . En otras palabras, π = a ₁ u ₁ ← xPP ... P = xP ^k como k → ∞. Eso significa

${\displaystyle {\begin{aligned}{\boldsymbol {\pi }}^{(k)}&=\mathbf {x} \left(\mathbf {U\Sigma U} ^{-1}\right)\left(\mathbf {U\Sigma U} ^{-1}\right)\cdots \left(\mathbf {U\Sigma U} ^{-1}\right)\\&=\mathbf {xU\Sigma } ^{k}\mathbf {U} ^{-1}\\&=\left(a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\mathbf {u} _{n}^{\mathsf {T}}\right)\mathbf {U\Sigma } ^{k}\mathbf {U} ^{-1}\\&=a_{1}\lambda _{1}^{k}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\lambda _{2}^{k}\mathbf {u} _{2}^{\mathsf {T}}+\cdots +a_{n}\lambda _{n}^{k}\mathbf {u} _{n}^{\mathsf {T}}&&u_{i}\bot u_{j}{\text{ for }}i\neq j\\&=\lambda _{1}^{k}\left\{a_{1}\mathbf {u} _{1}^{\mathsf {T}}+a_{2}\left({\frac {\lambda _{2}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{2}^{\mathsf {T}}+a_{3}\left({\frac {\lambda _{3}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{3}^{\mathsf {T}}+\cdots +a_{n}\left({\frac {\lambda _{n}}{\lambda _{1}}}\right)^{k}\mathbf {u} _{n}^{\mathsf {T}}\right\}\end{aligned}}}$

Dado que π es paralelo a u ₁ (normalizado por la norma L2) y π ^{( k )} es un vector de probabilidad, π ^{( k )} se aproxima a a ₁ u ₁ = π cuando k → ∞ con una velocidad del orden de λ ₂ / λ ₁ exponencialmente. Esto se debe a que, por tanto, λ ₂ / λ ₁ es el término dominante. Cuanto menor es la relación, más rápida es la convergencia. ^[53] El ruido aleatorio en la distribución de estado π también puede acelerar esta convergencia a la distribución estacionaria. ^[54] ${\displaystyle |\lambda _{2}|\geq \cdots \geq |\lambda _{n}|,}$

Espacio de estados generales

cadenas harris

Muchos resultados para cadenas de Markov con espacio de estados finito se pueden generalizar a cadenas con espacio de estados incontable a través de cadenas de Harris .

El uso de cadenas de Markov en los métodos Monte Carlo de cadenas de Markov cubre casos en los que el proceso sigue un espacio de estados continuo.

Cadenas de Markov que interactúan localmente

Considerar una colección de cadenas de Markov cuya evolución tiene en cuenta el estado de otras cadenas de Markov, está relacionado con la noción de cadenas de Markov que interactúan localmente. Esto corresponde a la situación en la que el espacio de estados tiene una forma de producto (cartesiano). Véase sistema de partículas interactuantes y autómatas celulares estocásticos (autómatas celulares probabilísticos). Véase, por ejemplo , Interacción de los procesos de Markov ^[55] o. ^[56]

Propiedades

Se dice que dos estados se comunican entre sí si ambos son accesibles entre sí mediante una secuencia de transiciones que tienen probabilidad positiva. Ésta es una relación de equivalencia que produce un conjunto de clases comunicantes. Una clase está cerrada si la probabilidad de abandonar la clase es cero. Una cadena de Markov es irreductible si hay una clase comunicante, el espacio de estados.

Un estado i tiene período k si k es el máximo común divisor del número de transiciones por las cuales se puede alcanzar i, a partir de i . Eso es:

${\displaystyle k=\gcd\{n>0:\Pr(X_{n}=i\mid X_{0}=i)>0\}}$

Se dice que un estado i es transitorio si, a partir de i , existe una probabilidad distinta de cero de que la cadena nunca regrese a i . De lo contrario , se llama recurrente (o persistente ). ^[57] Para un estado recurrente i , el tiempo medio de acierto se define como:

${\displaystyle M_{i}=E[T_{i}]=\sum _{n=1}^{\infty }n\cdot f_{ii}^{(n)}.}$

El estado i es recurrente positivo si es finito y recurrente nulo en caso contrario. La periodicidad, la transitoriedad, la recurrencia y la recurrencia positiva y nula son propiedades de clase; es decir, si un estado tiene la propiedad, entonces todos los estados de su clase comunicante tienen la propiedad. ^[58] ${\displaystyle M_{i}}$

Un estado i se llama absorbente si no hay transiciones salientes desde el estado.

Irreductibilidad

Dado que la periodicidad es una propiedad de clase, si una cadena de Markov es irreducible, entonces todos sus estados tienen el mismo período. En particular, si un estado es aperiódico, entonces toda la cadena de Markov es aperiódica.

Si una cadena de Markov finita es irreducible, entonces todos los estados son recurrentes positivos y tiene una distribución estacionaria única dada por . ${\displaystyle \pi _{i}=1/E[T_{i}]}$

Ergodicidad

Un estado i se dice ergódico si es aperiódico y recurrente positivo. En otras palabras, un estado i es ergódico si es recurrente, tiene un período de 1 y un tiempo de recurrencia medio finito.

Si todos los estados de una cadena de Markov irreducible son ergódicos, entonces se dice que la cadena es ergódica. De manera equivalente, existe algún número entero tal que todas las entradas de sean positivas. ${\displaystyle k}$ ${\displaystyle M^{k}}$

Se puede demostrar que una cadena de Markov irreducible de estado finito es ergódica si tiene un estado aperiódico. De manera más general, una cadena de Markov es ergódica si hay un número N tal que se puede alcanzar cualquier estado desde cualquier otro estado en cualquier número de pasos menor o igual a un número N. En el caso de una matriz de transición completamente conectada, donde todas las transiciones tienen una probabilidad distinta de cero, esta condición se cumple con  N  = 1.

Una cadena de Markov con más de un estado y sólo una transición saliente por estado no es irreducible o no es aperiódica, por lo que no puede ser ergódica.

Terminología

Algunos autores llaman ergódicas, incluso periódicas, a cualquier cadena de Markov recurrente positiva e irreducible. ^[59] De hecho, las cadenas de Markov meramente irreducibles corresponden a procesos ergódicos, definidos según la teoría ergódica. ^[60]

Algunos autores llaman primitiva a una matriz si existe algún número entero tal que todas las entradas de sean positivas. ^[61] Algunos autores lo llaman regular . ^[62] ${\displaystyle k}$ ${\displaystyle M^{k}}$

Índice de primitividad

El índice de primitividad , o exponente , de una matriz regular, es el más pequeño tal que todas las entradas de sean positivas. El exponente es una propiedad puramente teórica de grafos, ya que depende sólo de si cada entrada de es cero o positiva y, por lo tanto, se puede encontrar en un gráfico dirigido con su matriz de adyacencia. ${\displaystyle k}$ ${\displaystyle M^{k}}$ ${\displaystyle M}$ ${\displaystyle \mathrm {sign} (M)}$

Hay varios resultados combinatorios sobre el exponente cuando hay un número finito de estados. Sea el número de estados, entonces ^[63] ${\displaystyle n}$

• El exponente es . El único caso en el que es una igualdad es cuando la gráfica de es como . ${\displaystyle \leq (n-1)^{2}+1}$ ${\displaystyle M}$ ${\displaystyle 1\to 2\to \dots \to n\to 1{\text{ and }}2}$
• Si tiene entradas diagonales, entonces su exponente es . ${\displaystyle M}$ ${\displaystyle k\geq 1}$ ${\displaystyle \leq 2n-k-1}$
• Si es simétrico, entonces tiene diagonales positivas, lo que según la proposición anterior significa que su exponente es . ${\displaystyle \mathrm {sign} (M)}$ ${\displaystyle M^{2}}$ ${\displaystyle \leq 2n-2}$
• (Teorema de Dulmage-Mendelsohn) El exponente es donde está la circunferencia de la gráfica . Se puede mejorar a , donde está el diámetro del gráfico . ^[64] ${\displaystyle \leq n+s(n-2)}$ ${\displaystyle s}$ ${\displaystyle \leq (d+1)+s(d+1-2)}$ ${\displaystyle d}$

Sistema dinámico que preserva las medidas.

Si una cadena de Markov tiene una distribución estacionaria, entonces se puede convertir en un sistema dinámico que preserva la medida : Sea el espacio de probabilidad , donde está el conjunto de todos los estados de la cadena de Markov. Dejemos que el álgebra sigma en el espacio de probabilidad sea generada por los conjuntos de cilindros. Dejemos que la medida de probabilidad sea generada por la distribución estacionaria y la transición de la cadena de Markov. Sea el operador de turno: . De manera similar, podemos construir un sistema dinámico con en su lugar. ^{[sesenta y cinco]} ${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$ ${\displaystyle \Sigma }$ ${\displaystyle T:\Omega \to \Omega }$ ${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$ ${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$

Dado que las cadenas de Markov irreducibles con espacios de estados finitos tienen una distribución estacionaria única, la construcción anterior es inequívoca para las cadenas de Markov irreducibles.

En teoría ergódica , un sistema dinámico que preserva la medida se llama "ergódico" si es cualquier subconjunto mensurable que implique o (hasta un conjunto nulo). ${\displaystyle S}$ ${\displaystyle T^{-1}(S)=S}$ ${\displaystyle S=\emptyset }$ ${\displaystyle \Omega }$

La terminología es inconsistente. Dada una cadena de Markov con una distribución estacionaria que es estrictamente positiva en todos los estados, la cadena de Markov es irreducible si y solo si su correspondiente sistema dinámico que preserva la medida es ergódico . ^[60]

Representaciones markovianas

En algunos casos, procesos aparentemente no markovianos pueden tener todavía representaciones markovianas, construidas ampliando el concepto de estados "actuales" y "futuros". Por ejemplo, sea X un proceso no markoviano. Luego defina un proceso Y , tal que cada estado de Y represente un intervalo de tiempo de estados de X . Matemáticamente esto toma la forma:

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

Si Y tiene la propiedad de Markov, entonces es una representación markoviana de X.

Un ejemplo de un proceso no markoviano con representación markoviana es una serie temporal autorregresiva de orden mayor que uno. ^[66]

tiempos de golpe

El tiempo de acierto es el tiempo que comienza en un conjunto determinado de estados hasta que la cadena llega a un estado o conjunto de estados determinado. La distribución de dicho período de tiempo tiene una distribución de tipo fase. La distribución más simple es la de una única transición distribuida exponencialmente.

Tiempos de golpe esperados

Para un subconjunto de estados A  ⊆  S , el vector k ^A de tiempos de acierto (donde elemento representa el valor esperado , comenzando en el estado i en el que la cadena ingresa a uno de los estados en el conjunto A ) es la solución mínima no negativa para ^{[ 67]} ${\displaystyle k_{i}^{A}}$

${\displaystyle {\begin{aligned}k_{i}^{A}=0&{\text{ for }}i\in A\\-\sum _{j\in S}q_{ij}k_{j}^{A}=1&{\text{ for }}i\notin A.\end{aligned}}}$

Inversión del tiempo

Para un CTMC Xt , el proceso inverso en _el tiempo se define como . Según el lema de Kelly, este proceso tiene la misma distribución estacionaria que el proceso directo. ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

Se dice que una cadena es reversible si el proceso inverso es el mismo que el proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las velocidades de transición alrededor de un circuito cerrado debe ser el mismo en ambas direcciones.

Cadena de Markov integrada

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , es encontrar primero su cadena de Markov incorporada (EMC) . Estrictamente hablando, la EMC es una cadena de Markov regular de tiempo discreto, a veces denominada proceso de salto . Cada elemento de la matriz de probabilidad de transición de un paso del EMC, S , se denota por s _ij y representa la probabilidad condicional de transición del estado i al estado j . Estas probabilidades condicionales se pueden encontrar mediante

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

A partir de esto, S puede escribirse como

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

donde I es la matriz identidad y diag( Q ) es la matriz diagonal formada seleccionando la diagonal principal de la matriz Q y estableciendo todos los demás elementos en cero.

Para encontrar el vector de distribución de probabilidad estacionaria, a continuación debemos encontrar tal que ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

siendo un vector fila, tal que todos los elementos son mayores que 0 y = 1. A partir de esto, π se puede encontrar como ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , se debe normalizar a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ: la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0),  X (δ),  X (2δ), ... dan la secuencia de estados visitados por el δ-esqueleto.

Tipos especiales de cadenas de Markov

modelo de markov

Los modelos de Markov se utilizan para modelar sistemas cambiantes. Hay 4 tipos principales de modelos que generalizan las cadenas de Markov dependiendo de si cada estado secuencial es observable o no, y de si el sistema debe ajustarse en función de las observaciones realizadas:

Esquema de Bernoulli

Un esquema de Bernoulli es un caso especial de una cadena de Markov donde la matriz de probabilidad de transición tiene filas idénticas, lo que significa que el siguiente estado es independiente incluso del estado actual (además de ser independiente de los estados pasados). Un esquema de Bernoulli con sólo dos estados posibles se conoce como proceso de Bernoulli .

Tenga en cuenta, sin embargo, según el teorema del isomorfismo de Ornstein , que toda cadena de Markov aperiódica e irreducible es isomorfa a un esquema de Bernoulli; ^[68] por lo tanto, uno podría igualmente afirmar que las cadenas de Markov son un "caso especial" de los esquemas de Bernoulli. El isomorfismo generalmente requiere una recodificación complicada. El teorema del isomorfismo es incluso un poco más fuerte: establece que cualquier proceso estocástico estacionario es isomorfo a un esquema de Bernoulli; la cadena de Markov es sólo un ejemplo de ello.

Subdesplazamiento de tipo finito

Cuando la matriz de Markov se reemplaza por la matriz de adyacencia de un gráfico finito , el desplazamiento resultante se denomina cadena de Markov topológica o subdesplazamiento de tipo finito . ^[68] Una matriz de Markov que sea compatible con la matriz de adyacencia puede proporcionar una medida del subdesplazamiento. Muchos sistemas dinámicos caóticos son isomórficos a las cadenas topológicas de Markov; los ejemplos incluyen difeomorfismos de variedades cerradas , el sistema Prouhet-Thue-Morse , el sistema Chacón, los sistemas sóficos , los sistemas libres de contexto y los sistemas de codificación por bloques. ^[68]

Aplicaciones

Las investigaciones han informado sobre la aplicación y utilidad de las cadenas de Markov en una amplia gama de temas como física, química, biología, medicina, música, teoría de juegos y deportes.

Física

Los sistemas markovianos aparecen ampliamente en termodinámica y mecánica estadística , siempre que se utilizan probabilidades para representar detalles desconocidos o no modelados del sistema, si se puede suponer que la dinámica es invariante en el tiempo y que no es necesario considerar una historia relevante que no esté ya incluida. en la descripción del estado. ^{[69] [70]} Por ejemplo, un estado termodinámico opera bajo una distribución de probabilidad que es difícil o costosa de adquirir. Por lo tanto, el método Markov Chain Monte Carlo se puede utilizar para extraer muestras aleatoriamente de una caja negra para aproximar la distribución de probabilidad de atributos en una variedad de objetos. ^[70]

Los caminos, en la formulación integral de caminos de la mecánica cuántica, son cadenas de Markov. ^[71]

Las cadenas de Markov se utilizan en simulaciones QCD de celosía . ^[72]

Química

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

Cinética de Michaelis-Menten . La enzima (E) se une a un sustrato (S) y produce un producto (P). Cada reacción es una transición de estado en una cadena de Markov.

Una red de reacción es un sistema químico que involucra múltiples reacciones y especies químicas. Los modelos estocásticos más simples de tales redes tratan el sistema como una cadena de Markov de tiempo continuo, siendo el estado el número de moléculas de cada especie y con reacciones modeladas como posibles transiciones de la cadena. ^[73] Las cadenas de Markov y los procesos de Markov de tiempo continuo son útiles en química cuando los sistemas físicos se aproximan mucho a la propiedad de Markov. Por ejemplo, imagine un gran número n de moléculas en solución en el estado A, cada una de las cuales puede sufrir una reacción química al estado B con una determinada velocidad promedio. Quizás la molécula sea una enzima y los estados se refieran a cómo está plegada. El estado de cualquier enzima sigue una cadena de Markov y, dado que las moléculas son esencialmente independientes entre sí, el número de moléculas en el estado A o B a la vez es n veces la probabilidad de que una molécula determinada se encuentre en ese estado.

El modelo clásico de actividad enzimática, la cinética de Michaelis-Menten , puede verse como una cadena de Markov, donde en cada paso la reacción avanza en alguna dirección. Si bien Michaelis-Menten es bastante sencillo, también se pueden modelar redes de reacción mucho más complicadas con cadenas de Markov. ^[74]

También se utilizó un algoritmo basado en una cadena de Markov para centrar el crecimiento basado en fragmentos de sustancias químicas in silico hacia una clase deseada de compuestos, como fármacos o productos naturales. ^[75] A medida que una molécula crece, se selecciona un fragmento de la molécula naciente como el estado "actual". No es consciente de su pasado (es decir, no es consciente de lo que ya está ligado a él). Luego pasa al siguiente estado cuando se le adjunta un fragmento. Las probabilidades de transición se basan en bases de datos de clases auténticas de compuestos. ^[76]

Además, el crecimiento (y la composición) de los copolímeros se puede modelar utilizando cadenas de Markov. Con base en las relaciones de reactividad de los monómeros que forman la cadena polimérica en crecimiento, se puede calcular la composición de la cadena (por ejemplo, si los monómeros tienden a agregarse de manera alterna o en series largas del mismo monómero). Debido a los efectos estéricos , los efectos de Markov de segundo orden también pueden desempeñar un papel en el crecimiento de algunas cadenas poliméricas.

De manera similar, se ha sugerido que las cadenas de Markov pueden describir con precisión la cristalización y el crecimiento de algunos materiales de óxido superreticular epitaxial. ^[77]

Biología

Las cadenas de Markov se utilizan en diversas áreas de la biología. Ejemplos notables incluyen:

• Filogenética y bioinformática , donde la mayoría de los modelos de evolución del ADN utilizan cadenas de Markov de tiempo continuo para describir el nucleótido presente en un sitio determinado del genoma .
• Dinámica de poblaciones , donde las cadenas de Markov son en particular una herramienta central en el estudio teórico de modelos matriciales de población .
• Neurobiología , donde se han utilizado cadenas de Markov, por ejemplo, para simular la neocorteza de los mamíferos. ^[78]
• Biología de sistemas , por ejemplo con el modelado de infecciones virales de células individuales. ^[79]
• Modelos compartimentales para modelado de brotes de enfermedades y epidemias.

Pruebas

Varios teóricos han propuesto la idea de la prueba estadística de cadenas de Markov (MCST), un método para unir cadenas de Markov para formar una " manta de Markov ", disponiendo estas cadenas en varias capas recursivas ("obleas") y produciendo conjuntos de pruebas más eficientes: muestras. —como reemplazo de pruebas exhaustivas. Los MCST también tienen usos en redes temporales basadas en estados; El artículo de Chilukuri et al. titulado "Redes de razonamiento de incertidumbre temporal para la fusión de evidencia con aplicaciones para la detección y el seguimiento de objetos" (ScienceDirect) ofrece antecedentes y un estudio de caso para aplicar MCST a una gama más amplia de aplicaciones.

Variabilidad de la irradiancia solar

Las evaluaciones de la variabilidad de la irradiancia solar son útiles para aplicaciones de energía solar . La variabilidad de la irradiancia solar en cualquier lugar a lo largo del tiempo es principalmente una consecuencia de la variabilidad determinista de la trayectoria del sol a través de la cúpula celeste y la variabilidad de la nubosidad. La variabilidad de la irradiancia solar accesible en la superficie de la Tierra se ha modelado utilizando cadenas de Markov, ^{[80] [81] [82] [83]} incluyendo también el modelado de los dos estados de claridad y nubosidad como una cadena de Markov de dos estados. ^{[84] [85]}

Reconocimiento de voz

Los modelos ocultos de Markov son la base de la mayoría de los sistemas automáticos de reconocimiento de voz modernos .

Teoría de la información

Las cadenas de Markov se utilizan en todo el procesamiento de información. El famoso artículo de Claude Shannon de 1948 , Una teoría matemática de la comunicación , que en un solo paso creó el campo de la teoría de la información , comienza introduciendo el concepto de entropía a través del modelado de Markov del idioma inglés. Estos modelos idealizados pueden capturar muchas de las regularidades estadísticas de los sistemas. Incluso sin describir perfectamente la estructura completa del sistema, dichos modelos de señales pueden hacer posible una compresión de datos muy efectiva mediante técnicas de codificación entrópica como la codificación aritmética . También permiten una estimación eficaz del estado y el reconocimiento de patrones . Las cadenas de Markov también juegan un papel importante en el aprendizaje por refuerzo .

Las cadenas de Markov también son la base de los modelos ocultos de Markov, que son una herramienta importante en campos tan diversos como las redes telefónicas (que utilizan el algoritmo de Viterbi para la corrección de errores), el reconocimiento de voz y la bioinformática (como la detección de reordenamientos ^[86] ).

El algoritmo de compresión de datos sin pérdidas LZMA combina cadenas de Markov con compresión Lempel-Ziv para lograr relaciones de compresión muy altas.

teoría de colas

Las cadenas de Markov son la base para el tratamiento analítico de las colas ( teoría de las colas ). Agner Krarup Erlang inició el tema en 1917. ^[87] Esto los hace críticos para optimizar el rendimiento de las redes de telecomunicaciones, donde los mensajes a menudo deben competir por recursos limitados (como el ancho de banda). ^[88]

Numerosos modelos de colas utilizan cadenas de Markov de tiempo continuo. Por ejemplo, una cola M/M/1 es una CTMC en números enteros no negativos donde las transiciones ascendentes de i a i  + 1 ocurren a una velocidad λ según un proceso de Poisson y describen la llegada de empleos, mientras que las transiciones de i a i  – 1 (para i  > 1) ocurren a una velocidad μ (los tiempos de servicio del trabajo se distribuyen exponencialmente) y describen los servicios completados (salidas) de la cola.

aplicaciones de internet

Un diagrama de estado que representa el algoritmo PageRank con una probabilidad de transición de M o . ${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$

El PageRank de una página web tal como lo utiliza Google está definido por una cadena de Markov. ^{[89] [90] [91]} Es la probabilidad de estar en la página en la distribución estacionaria en la siguiente cadena de Markov en todas las páginas web (conocidas). Si es el número de páginas web conocidas y una página tiene enlaces a ella, entonces tiene probabilidad de transición para todas las páginas que están enlazadas y para todas las páginas que no están enlazadas. Se considera que el parámetro es aproximadamente 0,15. ^[92] ${\displaystyle i}$ ${\displaystyle N}$ ${\displaystyle i}$ ${\displaystyle k_{i}}$ ${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$ ${\displaystyle {\frac {1-\alpha }{N}}}$ ${\displaystyle \alpha }$

Los modelos de Markov también se han utilizado para analizar el comportamiento de navegación web de los usuarios. La transición de un enlace web de un usuario en un sitio web en particular se puede modelar utilizando modelos de Markov de primer o segundo orden y se puede utilizar para hacer predicciones sobre la navegación futura y personalizar la página web para un usuario individual.

Estadísticas

Los métodos de cadena de Markov también se han vuelto muy importantes para generar secuencias de números aleatorios para reflejar con precisión distribuciones de probabilidad deseadas muy complicadas, a través de un proceso llamado cadena de Markov Monte Carlo (MCMC). En los últimos años, esto ha revolucionado la viabilidad de los métodos de inferencia bayesianos , permitiendo simular una amplia gama de distribuciones posteriores y encontrar numéricamente sus parámetros.

Economía y Finanzas

Las cadenas de Markov se utilizan en finanzas y economía para modelar una variedad de fenómenos diferentes, incluida la distribución del ingreso, la distribución del tamaño de las empresas, los precios de los activos y las caídas del mercado. DG Champernowne construyó un modelo de cadena de Markov para la distribución del ingreso en 1953. ^[93] Herbert A. Simon y el coautor Charles Bonini utilizaron un modelo de cadena de Markov para derivar una distribución estacionaria de Yule del tamaño de las empresas. ^[94] Louis Bachelier fue el primero en observar que los precios de las acciones seguían un camino aleatorio. ^[95] El paseo aleatorio se consideró más tarde como evidencia a favor de la hipótesis del mercado eficiente y los modelos de paseo aleatorio fueron populares en la literatura de la década de 1960. ^[96] Los modelos de ciclos económicos de cambio de régimen fueron popularizados por James D. Hamilton (1989), quien utilizó una cadena de Markov para modelar cambios entre períodos de alto y bajo crecimiento del PIB (o, alternativamente, expansiones y recesiones económicas). ^[97] Un ejemplo más reciente es el modelo multifractal de cambio de Markov de Laurent E. Calvet y Adlai J. Fisher, que se basa en la conveniencia de modelos anteriores de cambio de régimen. ^{[98] [99]} Utiliza una cadena de Markov arbitrariamente grande para impulsar el nivel de volatilidad de los rendimientos de los activos.

La macroeconomía dinámica hace un uso intensivo de las cadenas de Markov. Un ejemplo es el uso de cadenas de Markov para modelar exógenamente los precios de las acciones en un entorno de equilibrio general . ^[100]

Las agencias de calificación crediticia elaboran tablas anuales de probabilidades de transición para bonos de diferentes calificaciones crediticias. ^[101]

Ciencias Sociales

Las cadenas de Markov se utilizan generalmente para describir argumentos dependientes de la ruta , donde las configuraciones estructurales actuales condicionan resultados futuros. Un ejemplo es la reformulación de la idea, originalmente debida a Das Kapital de Karl Marx , que vincula el desarrollo económico con el surgimiento del capitalismo . En la investigación actual, es común utilizar una cadena de Markov para modelar cómo una vez que un país alcanza un nivel específico de desarrollo económico, la configuración de factores estructurales, como el tamaño de la clase media , la proporción de residencia urbana y rural, la tasa de movilización política , etc., generarán una mayor probabilidad de transición de un régimen autoritario a un régimen democrático . ^[102]

Juegos

Las cadenas de Markov se pueden utilizar para modelar muchos juegos de azar. ^[1] Los juegos infantiles Serpientes y escaleras y " Hi Ho! Cherry-O ", por ejemplo, están representados exactamente por cadenas de Markov. En cada turno, el jugador comienza en un estado determinado (en un cuadrado determinado) y desde allí tiene probabilidades fijas de pasar a otros estados (cuadrados).

Música

Las cadenas de Markov se emplean en la composición musical algorítmica , particularmente en software como Csound , Max y SuperCollider . En una cadena de primer orden, los estados del sistema se convierten en valores de nota o tono, y se construye un vector de probabilidad para cada nota, completando una matriz de probabilidad de transición (ver más abajo). Se construye un algoritmo para producir valores de notas de salida basados ​​en las ponderaciones de la matriz de transición, que podrían ser valores de notas MIDI , frecuencia ( Hz ) o cualquier otra métrica deseable. ^[103]

Se puede introducir una cadena de Markov de segundo orden considerando el estado actual y también el estado anterior, como se indica en la segunda tabla. Las cadenas superiores de orden n tienden a "agrupar" notas particulares, mientras que ocasionalmente se "dividen" en otros patrones y secuencias. Estas cadenas de orden superior tienden a generar resultados con un sentido de estructura fraseal , en lugar del "deambular sin objetivo" producido por un sistema de primer orden. ^[104]

Las cadenas de Markov se pueden utilizar estructuralmente, como en Analogique A y B de Xenakis. ^[105] Las cadenas de Markov también se utilizan en sistemas que utilizan un modelo de Markov para reaccionar interactivamente a la entrada de música. ^[106]

Por lo general, los sistemas musicales necesitan imponer restricciones de control específicas sobre las secuencias de longitud finita que generan, pero las restricciones de control no son compatibles con los modelos de Markov, ya que inducen dependencias de largo alcance que violan la hipótesis de Markov de memoria limitada. Para superar esta limitación, se ha propuesto un nuevo enfoque. ^[107]

Béisbol

Los modelos de cadenas de Markov se han utilizado en el análisis avanzado del béisbol desde 1960, aunque su uso aún es poco común. Cada media entrada de un juego de béisbol se ajusta al estado de la cadena de Markov cuando se considera el número de corredores y outs. Durante cualquier turno al bate, hay 24 combinaciones posibles de número de outs y posición de los corredores. Mark Pankin muestra que los modelos de cadena de Markov se pueden utilizar para evaluar carreras creadas tanto para jugadores individuales como para un equipo. ^[108] También analiza varios tipos de estrategias y condiciones de juego: cómo los modelos de cadena de Markov se han utilizado para analizar estadísticas de situaciones de juego como toques y robo de bases y diferencias cuando se juega en césped frente a AstroTurf . ^[109]

Generadores de texto de Markov

Los procesos de Markov también se pueden utilizar para generar texto superficialmente de apariencia real a partir de un documento de muestra. Los procesos de Markov se utilizan en una variedad de software recreativo " generador de parodias " (ver prensa disociada , Jeff Harrison, ^[110] Mark V. Shaney , ^{[111] [112]} y Academias Neutronium). Existen varias bibliotecas de generación de texto de código abierto que utilizan cadenas de Markov.

Pronóstico probabilístico

Las cadenas de Markov se han utilizado para realizar pronósticos en varias áreas: por ejemplo, tendencias de precios, ^[113] energía eólica, ^[114] e irradiancia solar . ^[115] Los modelos de pronóstico de la cadena de Markov utilizan una variedad de configuraciones, desde discretizar las series de tiempo, ^[114] hasta modelos ocultos de Markov combinados con wavelets, ^[113] y el modelo de distribución mixta de la cadena de Markov (MCM). ^[115]

Ver también

• Dinámica de partículas markovianas.
• Proceso de Gauss-Markov
• Método de aproximación de la cadena de Markov
• Geoestadísticas de la cadena de Markov
• Tiempo de mezcla de la cadena de Markov
• Teorema del árbol de la cadena de Markov
• proceso de decisión de markov
• fuente de información de markov
• Odómetro de Markov
• operador de markov
• campo aleatorio de Markov
• ecuación maestra
• Cadena cuántica de Markov
• Proceso de Semi-Markov
• Autómata celular estocástico
• Cadena telescópica de Markov
• Modelo de Markov de orden variable

Notas

1. Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y la experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 1–235. ISBN 978-1-119-38755-8.
2. "Cadena de Markov | Definición de cadena de Markov en inglés de EE. UU. según los diccionarios de Oxford". Diccionarios de Oxford . Archivado desde el original el 15 de diciembre de 2017 . Consultado el 14 de diciembre de 2017 .
3. Definición en Brilliant.org "Brilliant Math and Science Wiki". Recuperado el 12 de mayo de 2019.
4. Samuel Karlín; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos. Prensa académica. pag. 47.ISBN _ 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
5. Bruce Hajek (12 de marzo de 2015). Procesos aleatorios para ingenieros. Prensa de la Universidad de Cambridge. ISBN 978-1-316-24124-0. Archivado desde el original el 23 de marzo de 2017.
6. G. Latouche; V. Ramaswami (1 de enero de 1999). Introducción a los métodos analíticos matriciales en el modelado estocástico. SIAM. págs.4–. ISBN 978-0-89871-425-8. Archivado desde el original el 23 de marzo de 2017.
7. Sean Meyn; Richard L. Tweedie (2 de abril de 2009). Cadenas de Markov y estabilidad estocástica. Prensa de la Universidad de Cambridge. pag. 3.ISBN _ 978-0-521-73182-9. Archivado desde el original el 23 de marzo de 2017.
8. Reuven Y. Rubinstein; Dirk P. Kroese (20 de septiembre de 2011). Simulación y método Montecarlo. John Wiley e hijos. pag. 225.ISBN _ 978-1-118-21052-9. Archivado desde el original el 23 de marzo de 2017.
9. Dani Gamerman; Hedibert F. Lopes (10 de mayo de 2006). Cadena de Markov Monte Carlo: simulación estocástica para inferencia bayesiana, segunda edición. Prensa CRC. ISBN 978-1-58488-587-0. Archivado desde el original el 23 de marzo de 2017.
10. "Markoviano" . Diccionario de inglés Oxford (edición en línea). Prensa de la Universidad de Oxford . (Se requiere suscripción o membresía de una institución participante).
11. Procesamiento de señales basado en modelos. John Wiley e hijos. 27 de octubre de 2005. ISBN 9780471732662.
12. Øksendal, BK (Bernt Karsten) (2003). Ecuaciones diferenciales estocásticas: una introducción con aplicaciones (6ª ed.). Berlín: Springer. ISBN 3540047581. OCLC  52203046.
13. Søren Asmussen (15 de mayo de 2003). Probabilidad Aplicada y Colas. Medios de ciencia y negocios de Springer. pag. 7.ISBN _ 978-0-387-00211-8. Archivado desde el original el 23 de marzo de 2017.
14. Emanuel Parzen (17 de junio de 2015). Procesos estocásticos. Publicaciones de Courier Dover. pag. 188.ISBN _ 978-0-486-79688-8. Archivado desde el original el 20 de noviembre de 2017.
15. Samuel Karlín; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos. Prensa académica. págs.29 y 30. ISBN 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
16. Juan Lamperti (1977). Procesos estocásticos: un estudio de la teoría matemática. Springer-Verlag. págs. 106-121. ISBN 978-3-540-90275-1. Archivado desde el original el 23 de marzo de 2017.
17. Sheldon M. Ross (1996). Procesos estocásticos. Wiley. págs.174 y 231. ISBN 978-0-471-12062-9. Archivado desde el original el 23 de marzo de 2017.
18. Everitt, BS (2002) Diccionario de estadística de Cambridge . TAZA. ISBN 0-521-81099-X 
19. Parzen, E. (1962) Procesos estocásticos , Holden-Day. ISBN 0-8162-6664-6 (Tabla 6.1) 
20. Dodge, Y. (2003) Diccionario Oxford de términos estadísticos , OUP. ISBN 0-19-920613-9 (entrada para "Cadena de Markov") 
21. Dodge, Y. Diccionario Oxford de términos estadísticos , OUP. ISBN 0-19-920613-9 
22. Meyn, S. Sean P. y Richard L. Tweedie. (2009) Cadenas de Markov y estabilidad estocástica . Prensa de la Universidad de Cambridge. (Prefacio, pág. iii)
23. Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y la experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 159-163. ISBN 978-1-119-38755-8.
24. Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y la experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 2–8. ISBN 978-1-119-38755-8.
25. Miller Grinstead; James Laurie Snell (1997). Introducción a la probabilidad. Sociedad Matemática Estadounidense. págs. 464–466. ISBN 978-0-8218-0749-1.
26. Pierre Bremaud (9 de marzo de 2013). Cadenas de Markov: campos de Gibbs, simulación de Montecarlo y colas. Medios de ciencia y negocios de Springer. pag. IX. ISBN 978-1-4757-3124-8. Archivado desde el original el 23 de marzo de 2017.
27. Hayes, Brian (2013). "Primeros eslabones de la cadena de Markov". Científico americano . 101 (2): 92–96. doi :10.1511/2013.101.92.
28. Sheldon M. Ross (1996). Procesos estocásticos. Wiley. págs.235 y 358. ISBN 978-0-471-12062-9. Archivado desde el original el 23 de marzo de 2017.
29. Jarrow, Robert; Protter, Philip (2004). "Una breve historia de la integración estocástica y las finanzas matemáticas: los primeros años, 1880-1970". Un Festschrift para Herman Rubin . Apuntes de conferencias del Instituto de Estadística Matemática - Serie de monografías. págs. 75–91. CiteSeerX 10.1.1.114.632 . doi : 10.1214/lnms/1196285381. ISBN  978-0-940600-61-4. ISSN  0749-2170.
30. Guttorp, Peter; Thorarinsdottir, Thordis L. (2012). "¿Qué pasó con el caos discreto, el proceso de Quenouille y la propiedad de Sharp Markov? Alguna historia de los procesos puntuales estocásticos". Revista estadística internacional . 80 (2): 253–268. doi :10.1111/j.1751-5823.2012.00181.x. ISSN  0306-7734. S2CID  80836.
31. Seneta, E. (1996). "Markov y el nacimiento de la teoría de la dependencia en cadena". Revista estadística internacional/Revue Internationale de Statistique . 64 (3): 255–257. doi :10.2307/1403785. ISSN  0306-7734. JSTOR  1403785.
32. Seneta, E. (1998). "IJ Bienaymé [1796-1878]: Criticidad, desigualdad e internacionalización". Revista estadística internacional/Revue Internationale de Statistique . 66 (3): 291–292. doi :10.2307/1403518. ISSN  0306-7734. JSTOR  1403518.
33. Bru B, Hertz S (2001). "Maurice Fréchet". En Heyde CC, Seneta E, Crépel P, Fienberg SE, Gani J (eds.). Estadísticos de los siglos . Nueva York, Nueva York: Springer. págs. 331–334. doi :10.1007/978-1-4613-0179-0_71. ISBN 978-0-387-95283-3.
34. Kendall, director general; Licenciado, GK; Bingham, Nuevo Hampshire; Hayman, WK; Hyland, JME; Lorentz, GG; Moffatt, Hong Kong; Parry, W.; Razborov, AA; Robinson, California; Whittle, P. (1990). "Andréi Nikolaevich Kolmogorov (1903-1987)". Boletín de la Sociedad Matemática de Londres . 22 (1): 33. doi :10.1112/blms/22.1.31. ISSN  0024-6093.
35. Cramér, Harald (1976). "Medio siglo con la teoría de la probabilidad: algunos recuerdos personales". Los anales de la probabilidad . 4 (4): 509–546. doi : 10.1214/aop/1176996025 . ISSN  0091-1798.
36. Marc Barbut; Bernard Locker; Laurent Mazliak (23 de agosto de 2016). Paul Lévy y Maurice Fréchet: 50 años de correspondencia en 107 cartas. Springer Londres. pag. 5.ISBN _ 978-1-4471-7262-8. Archivado desde el original el 23 de marzo de 2017.
37. Valeriy Skorokhod (5 de diciembre de 2005). Principios básicos y aplicaciones de la teoría de la probabilidad. Medios de ciencia y negocios de Springer. pag. 146.ISBN _ 978-3-540-26312-8. Archivado desde el original el 23 de marzo de 2017.
38. Bernstein, Jeremy (2005). "Soltero". Revista Estadounidense de Física . 73 (5): 395–398. Código bibliográfico : 2005AmJPh..73..395B. doi :10.1119/1.1848117. ISSN  0002-9505.
39. William J. Anderson (6 de diciembre de 2012). Cadenas de Markov de tiempo continuo: un enfoque orientado a aplicaciones. Medios de ciencia y negocios de Springer. pag. vii. ISBN 978-1-4612-3038-0. Archivado desde el original el 23 de marzo de 2017.
40. Kendall, director general; Licenciado, GK; Bingham, Nuevo Hampshire; Hayman, WK; Hyland, JME; Lorentz, GG; Moffatt, Hong Kong; Parry, W.; Razborov, AA; Robinson, California; Whittle, P. (1990). "Andréi Nikolaevich Kolmogorov (1903-1987)". Boletín de la Sociedad Matemática de Londres . 22 (1): 57. doi :10.1112/blms/22.1.31. ISSN  0024-6093.
41. Ionut Florescu (7 de noviembre de 2014). Probabilidad y Procesos Estocásticos. John Wiley e hijos. págs.373 y 374. ISBN 978-1-118-59320-2. Archivado desde el original el 23 de marzo de 2017.
42. Samuel Karlin; Howard E. Taylor (2 de diciembre de 2012). Un primer curso en procesos estocásticos. Prensa académica. pag. 49.ISBN _ 978-0-08-057041-9. Archivado desde el original el 23 de marzo de 2017.
43. Gagniuc, Paul A. (2017). Cadenas de Markov: de la teoría a la implementación y la experimentación . Estados Unidos, Nueva Jersey: John Wiley & Sons. págs. 1–2. ISBN 978-1-119-38755-8.
44. Weiss, George H. (2006). "Paseos aleatorios". Enciclopedia de Ciencias Estadísticas . pag. 1. doi : 10.1002/0471667196.ess2180.pub2. ISBN 978-0471667193.
45. Michael F. Shlesinger (1985). El maravilloso mundo de la estocástica: un homenaje a Elliott W. Montroll. Holanda del Norte. págs. 8-10. ISBN 978-0-444-86937-1. Archivado desde el original el 23 de marzo de 2017.
46. Emanuel Parzen (17 de junio de 2015). Procesos estocásticos. Publicaciones de Courier Dover. pag. 7 y 8. ISBN 978-0-486-79688-8. Archivado desde el original el 20 de noviembre de 2017.
47. José L. Doob (1990). Procesos estocastipoicos. Wiley. pag. 46 y 47. Archivado desde el original el 20 de noviembre de 2017.
48. Donald L. Snyder; Michael I. Miller (6 de diciembre de 2012). Procesos puntuales aleatorios en el tiempo y el espacio. Medios de ciencia y negocios de Springer. pag. 32.ISBN _ 978-1-4612-3166-0. Archivado desde el original el 20 de noviembre de 2017.
49. Norris, JR (1997). "Cadenas de Markov I en tiempo continuo". Cadenas de Markov . págs. 60-107. doi :10.1017/CBO9780511810633.004. ISBN 9780511810633.
50. Serfozo, Richard (2009). "Conceptos básicos de los procesos estocásticos aplicados" . Probabilidad y sus aplicaciones . doi :10.1007/978-3-540-89332-5. ISBN 978-3-540-89331-8. ISSN  1431-7028.
51. "Capítulo 11" Cadenas de Markov"" (PDF) . Archivado (PDF) desde el original el 15 de febrero de 2017 . Consultado el 2 de junio de 2017 .
52. Schmitt, Florián; Rothlauf, Franz (2001). "Sobre la importancia del segundo valor propio más grande en la tasa de convergencia de algoritmos genéticos". Actas del 14º Simposio sobre sistemas distribuidos confiables . CiteSeerX 10.1.1.28.6191 . 
53. Rosenthal, Jeffrey S. (1995). "Tasas de convergencia de cadenas de Markov". Revisión SIAM . 37 (3): 387–405. doi :10.1137/1037083. ISSN  0036-1445. JSTOR  2132659 . Consultado el 31 de mayo de 2021 .
54. Franzke, Brandon; Kosko, Bart (1 de octubre de 2011). "El ruido puede acelerar la convergencia en las cadenas de Markov". Revisión física E. 84 (4): 041112. Código bibliográfico : 2011PhRvE..84d1112F. doi : 10.1103/PhysRevE.84.041112. PMID  22181092.
55. Spitzer, Frank (1970). "Interacción de los procesos de Markov". Avances en Matemáticas . 5 (2): 246–290. doi : 10.1016/0001-8708(70)90034-4 .
56. Dobrushin, RL ; Kryukov, VI; Toom, AL (1978). Sistemas celulares estocásticos: ergodicidad, memoria, morfogénesis. Prensa de la Universidad de Manchester. ISBN 9780719022067. Archivado desde el original el 5 de febrero de 2017 . Consultado el 4 de marzo de 2016 .
57. Heyman, Daniel P.; Sobel, Mathew J. (1982). Modelos estocásticos en investigación de operaciones, volumen 1 . Nueva York: McGraw-Hill. pag. 230.ISBN _ 0-07-028631-0.
58. Peres, Yuval . "Demostrar que la recurrencia positiva es una propiedad de clase". Intercambio de pilas de matemáticas . Consultado el 1 de febrero de 2024 .
59. Parzen, Emanuel (1962). Procesos estocásticos . San Francisco: Holden-Day. pag. 145.ISBN _ 0-8162-6664-6.
60. Shalizi, Cosma (1 de diciembre de 2023). "Teoría ergódica". bactra.org . Archivado desde el original el 31 de diciembre de 2023 . Consultado el 1 de febrero de 2024 .
61. Seneta, E. (Eugene) (1973). Matrices no negativas; una introducción a la teoría y sus aplicaciones. Archivo de Internet. Nueva York, Wiley. ISBN 978-0-470-77605-6.
62. "10.3: Cadenas de Markov regulares". Matemáticas LibreTexts . 2020-03-22 . Consultado el 1 de febrero de 2024 .
63. Seneta, E. (Eugene) (1973). "2.4. Propiedades combinatorias". Matrices no negativas; una introducción a la teoría y sus aplicaciones. Archivo de Internet. Nueva York, Wiley. ISBN 978-0-470-77605-6.
64. Shen, Jian (15 de octubre de 1996). "Una mejora del teorema de Dulmage-Mendelsohn". Matemáticas discretas . 158 (1): 295–297. doi : 10.1016/0012-365X(95)00060-A . ISSN  0012-365X.
65. Kallenberg, Olav (2002). Fundamentos de la probabilidad moderna . Probabilidad y sus aplicaciones (2. ed., [Nachdr.] ed.). Nueva York, NY Berlín Heidelberg: Springer. Proposición 8.6 (página 145). ISBN 978-0-387-95313-7.
66. Doblinger, G. (septiembre de 1998). "Suavizado de señales AR ruidosas mediante un filtro de Kalman adaptativo" (PDF) . Novena Conferencia Europea de Procesamiento de Señales (EUSIPCO 1998) : 781–784.
67. Norris, JR (1997). "Cadenas de Markov II en tiempo continuo". Cadenas de Markov . págs. 108-127. doi :10.1017/CBO9780511810633.005. ISBN 9780511810633.
68. Matthew Nicol y Karl Petersen, (2009) "Teoría ergódica: construcciones y ejemplos básicos", Enciclopedia de complejidad y ciencia de sistemas , Springer https://doi.org/10.1007/978-0-387-30440-3_177
69. Fitzpatrick, Richard. «Termodinámica y Mecánica Estadística» (PDF) . Archivado (PDF) desde el original el 30 de noviembre de 2016 . Consultado el 2 de junio de 2017 .
70. van Ravenzwaaij, Don; Cassey, Pete; Marrón, Scott D. (11 de marzo de 2016). "Una sencilla introducción al muestreo de Markov Chain Monte-Carlo". Boletín y revisión psiconómica . 25 (1): 143-154. doi :10.3758/s13423-016-1015-8. ISSN  1069-9384. PMC 5862921 . PMID  26968853. 
71. Ryder, Lewis H. (1985). Teoría cuántica de campos . Cambridge [Cambridgeshire]: Cambridge University Press. págs.160. ISBN 978-0521338592. OCLC  10533049.
72. Gattringer, Christof; Lang, Christian B (2010). Cromodinámica cuántica en la red. Apuntes de conferencias de física. vol. 788. Springer-Verlag Berlín Heidelberg. doi :10.1007/978-3-642-01850-3. ISBN 978-3-642-01849-7. Archivado desde el original el 1 de agosto de 2017.
73. Anderson, David F.; Kurtz, Thomas G. (2011), "Modelos de cadena de Markov en tiempo continuo para redes de reacción química", Diseño y análisis de circuitos biomoleculares , Springer Nueva York, págs. 3–42, doi :10.1007/978-1-4419-6766- 4_1, ISBN 9781441967657
74. Du, Chao; Kou, Carolina del Sur (septiembre de 2012). "Análisis de correlación de la reacción enzimática de una sola molécula de proteína". Los anales de la estadística aplicada . 6 (3): 950–976. arXiv : 1209.6210 . Código Bib : 2012arXiv1209.6210D. doi :10.1214/12-aoas541. ISSN  1932-6157. PMC 3568780 . PMID  23408514. 
75. Kutchukiano, Peter; Lou, David; Shakhnovich, Eugenio (2009). "FOG: algoritmo de crecimiento optimizado de fragmentos para la generación de novo de moléculas que ocupan sustancias químicas similares a fármacos". Revista de información y modelado químico . 49 (7): 1630-1642. doi :10.1021/ci9000458. PMID  19527020.
76. Kutchukian, Peter S.; Lou, David; Shakhnovich, Eugenio I. (15 de junio de 2009). "FOG: algoritmo de crecimiento optimizado de fragmentos para la generación de novo de moléculas que ocupan un espacio químico similar a un fármaco". Revista de información y modelado químico . 49 (7): 1630-1642. doi :10.1021/ci9000458. ISSN  1549-9596. PMID  19527020.
77. Kopp, VS; Kaganer, VM; Schwarzkopf, J.; Waidick, F.; Remmele, T.; Kwasniewski, A.; Schmidbauer, M. (2011). "Difracción de rayos X de estructuras en capas no periódicas con correlaciones: cálculo analítico y experimento con películas mixtas de Aurivillius". Acta Crystallographica Sección A. 68 (parte 1): 148-155. Código Bib : 2012AcCrA..68..148K. doi :10.1107/S0108767311044874. PMID  22186291.
78. George, Dileep; Hawkins, Jeff (2009). Friston, Karl J. (ed.). "Hacia una teoría matemática de los microcircuitos corticales". PLOS Comput Biol . 5 (10): e1000532. Código Bib : 2009PLSCB...5E0532G. doi : 10.1371/journal.pcbi.1000532 . PMC 2749218 . PMID  19816557. 
79. Gupta, Ankur; Rawlings, James B. (abril de 2014). "Comparación de métodos de estimación de parámetros en modelos cinéticos químicos estocásticos: ejemplos en biología de sistemas". Revista AIChE . 60 (4): 1253–1268. Código Bib : 2014AIChE..60.1253G. doi :10.1002/aic.14409. PMC 4946376 . PMID  27429455. 
80. Aguiar, RJ; Collares-Pereira, M.; Conde, JP (1988). "Procedimiento sencillo para generar secuencias de valores de radiación diarios utilizando una biblioteca de matrices de transición de Markov". Energía solar . 40 (3): 269–279. Código Bib :1988SoEn...40..269A. doi :10.1016/0038-092X(88)90049-7.
81. Ngoko, BO; Sugihara, H.; Funaki, T. (2014). "Generación sintética de datos de radiación solar de alta resolución temporal utilizando modelos de Markov". Energía solar . 103 : 160-170. Código Bib :2014SoEn..103..160N. doi :10.1016/j.solener.2014.02.026.
82. Brillante, JM; Smith, CI; Taylor, PG; Crook, R. (2015). "Generación estocástica de series temporales sintéticas de irradiancia minúscula derivadas de datos de observación del tiempo medio por hora". Energía solar . 115 : 229–242. Código Bib :2015SoEn..115..229B. doi : 10.1016/j.solener.2015.02.032 .
83. Munkhammar, J.; Widén, J. (2018). "Un modelo de distribución de mezcla de cadena de Markov de estado N del índice de cielo despejado". Energía solar . 173 : 487–495. Código Bib : 2018SoEn..173..487M. doi :10.1016/j.solener.2018.07.056. S2CID  125538244.
84. Morf, H. (1998). "El modelo estocástico de irradiancia solar de dos estados (STSIM)". Energía solar . 62 (2): 101–112. Código Bib :1998SoEn...62..101M. doi :10.1016/S0038-092X(98)00004-8.
85. Munkhammar, J.; Widén, J. (2018). "Un enfoque de mezcla de distribución de probabilidad de cadena de Markov para el índice de cielo despejado". Energía solar . 170 : 174–183. Código Bib :2018SoEn..170..174M. doi :10.1016/j.solener.2018.05.055. S2CID  125867684.
86. Pratas, D; Silva, R; Pinho, A; Ferreira, P (18 de mayo de 2015). "Un método sin alineación para encontrar y visualizar reordenamientos entre pares de secuencias de ADN". Informes científicos . 5 (10203): 10203. Código bibliográfico : 2015NatSR...510203P. doi :10.1038/srep10203. PMC 4434998 . PMID  25984837. 
87. O'Connor, John J.; Robertson, Edmund F. , "Cadena de Markov", Archivo MacTutor de Historia de las Matemáticas , Universidad de St Andrews
88. SP Meyn, 2007. Técnicas de control para redes complejas Archivado el 13 de mayo de 2015 en Wayback Machine , Cambridge University Press, 2007.
89. Patente estadounidense 6.285.999
90. Gupta, Brij; Agrawal, Dharma P.; Yamaguchi, Shingo (16 de mayo de 2016). Manual de investigación sobre soluciones criptográficas modernas para seguridad informática y cibernética. IGI Global. págs. 448–. ISBN 978-1-5225-0106-0. Archivado desde el original el 23 de marzo de 2017.
91. Langville, Amy N.; Meyer, Carl D. (2006). "Un reordenamiento para el problema del PageRank" (PDF) . Revista SIAM de Computación Científica . 27 (6): 2112–2113. Código Bib : 2006SJSC...27.2112L. CiteSeerX 10.1.1.58.8652 . doi : 10.1137/040607551. ISSN  1064-8275. Archivado (PDF) desde el original el 21 de septiembre de 2017. 
92. Página, Lorenzo; Brin, Sergey; Motwani, Rajeev; Winograd, Terry (1999). El PageRank Citation Ranking: poner orden en la Web (informe técnico). CiteSeerX 10.1.1.31.1768 . 
93. Champernowne, D (1953). "Un modelo de distribución del ingreso". La Revista Económica . 63 (250): 318–51. doi :10.2307/2227127. JSTOR  2227127.
94. Simón, Herbert; C. Bonini (1958). "La distribución del tamaño de las empresas comerciales". Soy. Economía. Rdo . 42 : 425–40.
95. Bachiller, Louis (1900). "Teoría de la especulación". Annales Scientifiques de l'École Normale Supérieure . 3 : 21–86. doi :10.24033/asens.476. hdl : 2027/coo.31924001082803 .
96. por ejemplo , Fama, E (1965). "El comportamiento de los precios del mercado de valores". Revista de Negocios . 38 .
97. Hamilton, James (1989). "Un nuevo enfoque para el análisis económico de series temporales no estacionarias y del ciclo económico". Econométrica . 57 (2): 357–84. CiteSeerX 10.1.1.397.3582 . doi :10.2307/1912559. JSTOR  1912559. 
98. Calvet, Laurent E.; Pescador, Adlai J. (2001). "Predicción de la volatilidad multifractal". Revista de Econometría . 105 (1): 27–58. doi :10.1016/S0304-4076(01)00069-0. S2CID  119394176.
99. Calvet, Laurent; Adlai Fisher (2004). "Cómo pronosticar la volatilidad a largo plazo: cambio de régimen y estimación de procesos multifractales". Revista de Econometría Financiera . 2 : 49–83. CiteSeerX 10.1.1.536.8334 . doi :10.1093/jjfinec/nbh003. S2CID  6020401. 
100. Brennan, Michael; Xiab, Yihong. "Volatilidad del precio de las acciones y prima de las acciones" (PDF) . Departamento de Finanzas, Anderson School of Management, UCLA . Archivado desde el original (PDF) el 28 de diciembre de 2008.
101. "Un ejemplo de cadena de Markov en modelos de riesgo crediticio" (PDF) . Universidad de Colombia . Archivado desde el original (PDF) el 24 de marzo de 2016.
102. Acemoglu, Daron; Georgy Egorov; Konstantin Sonin (2011). "Modelo político de evolución social". Procedimientos de la Academia Nacional de Ciencias . 108 (Suplemento 4): 21292–21296. Código Bib : 2011PNAS..10821292A. CiteSeerX 10.1.1.225.6090 . doi : 10.1073/pnas.1019454108 . PMC 3271566 . PMID  22198760.  
103. K McAlpine; E Miranda; S Hoggar (1999). "Hacer música con algoritmos: un sistema de estudio de caso". Diario de música por computadora . 23 (2): 19–30. doi :10.1162/014892699559733. S2CID  40057162.
104. Curtis caminos, ed. (1996). El tutorial de música por computadora . Prensa del MIT. ISBN 978-0-262-18158-7.
105. Xenakis, Iannis; Kanach, Sharon (1992) Música formalizada: matemáticas y pensamiento en la composición , Pendragon Press. ISBN 1576470792 
106. "Continuador". Archivado desde el original el 13 de julio de 2012.
107. Pachet, F.; Roy, P.; Barbieri, G. (2011) "Procesos de Markov de longitud finita con restricciones" Archivado el 14 de abril de 2012 en Wayback Machine , Actas de la 22ª Conferencia Internacional Conjunta sobre Inteligencia Artificial , IJCAI, páginas 635–642, Barcelona, ​​España, julio 2011
108. Pankin, Mark D. "MODELOS DE CADENA MARKOV: ANTECEDENTES TEÓRICOS". Archivado desde el original el 9 de diciembre de 2007 . Consultado el 26 de noviembre de 2007 .
109. Pankin, Mark D. "EL BÉISBOL COMO CADENA DE MARKOV". Archivado desde el original el 13 de mayo de 2009 . Consultado el 24 de abril de 2009 .
110. "Rincón del poeta - Fieralingue". Archivado desde el original el 6 de diciembre de 2010.
111. Kenner, Hugh; O'Rourke, Joseph (noviembre de 1984). "Un generador de parodias para micros". BYTE . 9 (12): 129–131, 449–469.
112. Hartman, Charles (1996). Musa virtual: experimentos en poesía informática . Hannover, NH: Wesleyan University Press. ISBN 978-0-8195-2239-9.
113. de Souza e Silva, EG; Legey, LFL; de Souza y Silva, EA (2010). "Predicción de las tendencias del precio del petróleo utilizando wavelets y modelos ocultos de Markov". Economía Energética . 32 .
114. Carpinone, A; Giorgio, M; Langella, R.; Testa, A. (2015). "Modelado de la cadena de Markov para la previsión de energía eólica a muy corto plazo". Investigación de sistemas de energía eléctrica . 122 : 152-158. doi : 10.1016/j.epsr.2014.12.025 .
115. Munkhammar, J.; van der Meer, DW; Widén, J. (2019). "Predicción probabilística de series temporales de índices de cielo despejado de alta resolución utilizando un modelo de distribución de mezcla de cadenas de Markov". Energía solar . 184 : 688–695. Código Bib :2019SoEn..184..688M. doi :10.1016/j.solener.2019.04.014. S2CID  146076100.

Referencias

• AA Markov (1906) "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete , 2-ya seriya, tom 15, págs.
• AA Markov (1971). "Extensión de los teoremas límite de la teoría de la probabilidad a una suma de variables conectadas en cadena". reimpreso en el Apéndice B de: R. Howard. Sistemas probabilísticos dinámicos, volumen 1: Cadenas de Markov . John Wiley e hijos.
• Texto clásico traducido: Markov, AA (2006). Traducido por Link, David. "Un ejemplo de investigación estadística del texto de Eugene Onegin sobre la conexión de muestras en cadenas". Ciencia en contexto . 19 (4): 591–600. doi :10.1017/s0269889706001074. S2CID  144854176.
• Leo Breiman (1992) [1968] Probabilidad . Edición original publicada por Addison-Wesley; reimpreso por la Sociedad de Matemáticas Industriales y Aplicadas ISBN 0-89871-296-3 . (Ver Capítulo 7) 
• JL Doob (1953) Procesos estocásticos . Nueva York: John Wiley and Sons ISBN 0-471-52369-0 . 
• SP Meyn y RL Tweedie (1993) Cadenas de Markov y estabilidad estocástica . Londres: Springer-Verlag ISBN 0-387-19832-6 . en línea: MCSS. Segunda edición en aparecer, Cambridge University Press, 2009. 
• Dynkin, Evgeny Borisovich (1965) [10 de marzo de 1963, 31 de marzo de 1962]. Escrito en la Universidad de Moscú, Moscú, Rusia. Procesos de Markov-I . Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen mit besonderer Berücksichtigung der Anwendungsgebiete. vol. Yo (121). Traducido por Fabius, Jaap [en Wikidata] ; Greenberg, Vida Lazarus [en Wikidata] ; Maitra, Ashok Prasad [en Wikidata] ; Majone, Giandomenico (1 ed.). Nueva York, EE.UU. / Berlín, Alemania: Springer-Verlag ( Academic Press, Inc., Publishers ). doi :10.1007/978-3-662-00031-1. ISBN 978-3-662-00033-5. ISSN  0072-7830. LCCN  64-24812. S2CID  251691119. Título-No. 5104 . Consultado el 2 de septiembre de 2023 .[1] (xii+365+1 páginas); Dynkin, Evgeny Borisovich (1965) [10 de marzo de 1963, 31 de marzo de 1962]. Escrito en la Universidad de Moscú, Moscú, Rusia. Procesos de Markov-II . Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen mit besonderer Berücksichtigung der Anwendungsgebiete. vol. II (122). Traducido por Fabius, Jaap [en Wikidata] ; Greenberg, Vida Lazarus [en Wikidata] ; Maitra, Ashok Prasad [en Wikidata] ; Majone, Giandomenico (1 ed.). Nueva York, Estados Unidos / Berlín, Alemania: Springer-Verlag . doi :10.1007/978-3-662-25360-1. ISBN 978-3-662-23320-7. ISSN  0072-7830. LCCN  64-24812. Título-No. 5105 . Consultado el 2 de septiembre de 2023 .(viii+274+2 páginas) (NB. Esto fue publicado originalmente en ruso como "Markovskie prot︠s︡essy" ( Марковские процессы ) por Fizmatgiz ( Физматгиз ) en 1963 y traducido al inglés con la ayuda del autor).
• SP Meyn. Técnicas de Control de Redes Complejas . Prensa de la Universidad de Cambridge, 2007. ISBN 978-0-521-88441-9 . El apéndice contiene Meyn & Tweedie resumido. en línea: [2] 
• Stand, Taylor L. (1967). Teoría de máquinas secuenciales y autómatas (1ª ed.). Nueva York, NY: John Wiley and Sons, Inc. Número de catálogo de tarjetas de la Biblioteca del Congreso 67-25924.] Libro extenso y de amplio alcance destinado a especialistas, escrito tanto para informáticos teóricos como para ingenieros eléctricos. Con explicaciones detalladas de técnicas de minimización de estados, FSM, máquinas de Turing, procesos de Markov e indecidibilidad. Excelente tratamiento de los procesos de Markov págs. 449 y siguientes. Analiza las transformaciones Z y las transformaciones D en su contexto.
• Kemeny, John G.; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Estructuras matemáticas finitas (1ª ed.). Englewood Cliffs, Nueva Jersey: Prentice-Hall, Inc. Número de catálogo de tarjetas de la Biblioteca del Congreso 59-12841.Texto clásico. cf. Capítulo 6 Cadenas finitas de Markov, págs. 384 y siguientes.
• John G. Kemeny y J. Laurie Snell (1960) Cadenas finitas de Markov , D. van Nostrand Company ISBN 0-442-04328-7 
• E. Numelin. "Cadenas generales de Markov irreductibles y operadores no negativos". Prensa de la Universidad de Cambridge, 1984, 2004. ISBN 0-521-60494-X 
• Seneta, E. Matrices no negativas y cadenas de Markov . 2da rev. ed., 1981, XVI, 288 p., Serie Springer de tapa blanda en Estadística. (Publicado originalmente por Allen & Unwin Ltd., Londres, 1973) ISBN 978-0-387-29765-1 
• Kishor S. Trivedi , Probabilidad y estadística con confiabilidad, colas y aplicaciones informáticas , John Wiley & Sons, Inc. Nueva York, 2002. ISBN 0-471-33341-7 . 
• KS Trivedi y RASahner, SHARPE a la edad de veintidós años , vol. 36, núm. 4, págs. 52–57, Revisión de evaluación del desempeño de ACM SIGMETRICS, 2009.
• RA Sahner, KS Trivedi y A. Puliafito, Análisis de rendimiento y confiabilidad de sistemas informáticos: un enfoque basado en ejemplos utilizando el paquete de software SHARPE , Kluwer Academic Publishers, 1996. ISBN 0-7923-9650-2 . 
• G. Bolch, S. Greiner, H. de Meer y KS Trivedi, Queuing Networks and Markov Chains , John Wiley, 2.ª edición, 2006. ISBN 978-0-7923-9650-5 . 

enlaces externos

• Introducción a las cadenas de Markov en YouTube
• "Cadena de Markov", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Técnicas para comprender las simulaciones por computadora: análisis de la cadena de Markov
• Capítulo de cadenas de Markov en el libro introductorio de probabilidad de la American Mathematical Society Archivado el 22 de mayo de 2008 en Wayback Machine (pdf)
• Una hermosa explicación visual de las Cadenas de Markov.
• Entender el sentido y el sinsentido de las cadenas de Markov Archivado el 4 de febrero de 2020 en la Wayback Machine.
• Artículo original de AA Markov (1913): Un ejemplo de investigación estadística del texto Eugene Onegin sobre la conexión de muestras en cadenas (traducido del ruso)