Proceso de renovación de Markov

Generalization of Markov jump processes

Los procesos de renovación de Markov son una clase de procesos aleatorios en probabilidad y estadística que generalizan la clase de procesos de salto de Markov . Otras clases de procesos aleatorios, como las cadenas de Markov y los procesos de Poisson , pueden derivarse como casos especiales entre la clase de procesos de renovación de Markov, mientras que los procesos de renovación de Markov son casos especiales entre la clase más general de procesos de renovación .

Definición

Una ilustración de un proceso de renovación de Markov

En el contexto de un proceso de salto que toma estados en un espacio de estados , considere el conjunto de variables aleatorias , donde representa los tiempos de salto y representa los estados asociados en la secuencia de estados (ver Figura). Sea la secuencia de tiempos entre llegadas . Para que la secuencia se considere un proceso de renovación de Markov, se debe cumplir la siguiente condición: ${\displaystyle \mathrm {S} }$ ${\displaystyle (X_{n},T_{n})}$ ${\displaystyle T_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$ ${\displaystyle (X_{n},T_{n})}$

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

Relación con otros procesos estocásticos

1. Sea y tal como se definió en la declaración anterior. Si se define un nuevo proceso estocástico para , entonces el proceso se denomina proceso semimarkoviano, ya que ocurre en una cadena markoviana de tiempo continuo . El proceso es markoviano solo en los instantes de salto especificados, lo que justifica el nombre semimarkoviano . ^{[1] [2] [3]} (Véase también: modelo semimarkoviano oculto ). ${\displaystyle X_{n}}$ ${\displaystyle T_{n}}$ ${\displaystyle Y_{t}:=X_{n}}$ ${\displaystyle t\in [T_{n},T_{n+1})}$ ${\displaystyle Y_{t}}$
2. Un proceso semimarkoviano (definido en el punto anterior) en el que todos los tiempos de espera se distribuyen exponencialmente se denomina cadena de Markov de tiempo continuo . En otras palabras, si los tiempos entre llegadas se distribuyen exponencialmente y si el tiempo de espera en un estado y el siguiente estado alcanzado son independientes, tenemos una cadena de Markov de tiempo continuo.

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. La secuencia en el proceso de renovación de Markov es una cadena de Markov de tiempo discreto . En otras palabras, si se ignoran las variables de tiempo en la ecuación del proceso de renovación de Markov, terminamos con una cadena de Markov de tiempo discreto . ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. Si la secuencia de s es independiente y se distribuye de forma idéntica, y si su distribución no depende del estado , entonces el proceso es una renovación . Por lo tanto, si se ignoran los estados y tenemos una cadena de tiempos iid , entonces tenemos un proceso de renovación. ${\displaystyle \tau }$ ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

Véase también

• Proceso de Markov
• Teoría de la renovación
• Modelo de Markov de orden variable
• Modelo semimarkoviano oculto

Referencias

1. Medhi, J. (1982). Procesos estocásticos . Nueva York: Wiley & Sons. ISBN 978-0-470-27000-4.
2. Ross, Sheldon M. (1999). Procesos estocásticos (2.ª ed.). Nueva York [ua]: Routledge. ISBN 978-0-471-12062-9.
3. Barbu, Vlad Stefan; Limnios, Nikolaos (2008). Cadenas semimarkovianas y modelos semimarkovianos ocultos hacia aplicaciones: su uso en confiabilidad y análisis de ADN . Nueva York: Springer. ISBN 978-0-387-73171-1.