Proceso de renovación de Markov

Generalization of Markov jump processes

Los procesos de renovación de Markov son una clase de procesos aleatorios en probabilidad y estadística que generalizan la clase de procesos de salto de Markov . Otras clases de procesos aleatorios, como las cadenas de Markov y los procesos de Poisson , pueden derivarse como casos especiales entre la clase de procesos de renovación de Markov, mientras que los procesos de renovación de Markov son casos especiales entre la clase más general de procesos de renovación .

Definición

Una ilustración de un proceso de renovación de Markov

En el contexto de un proceso de salto que toma estados en un espacio de estados , considere el conjunto de variables aleatorias , donde representa los tiempos de salto y representa los estados asociados en la secuencia de estados (ver Figura). Sea la secuencia de tiempos entre llegadas . Para que la secuencia se considere un proceso de renovación de Markov debe cumplirse la siguiente condición: ${\displaystyle \mathrm {S} }$ ${\displaystyle (X_{n},T_{n})}$ ${\displaystyle T_{n}}$ ${\displaystyle X_{n}}$ ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$ ${\displaystyle (X_{n},T_{n})}$

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[5pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

Relación con otros procesos estocásticos

1. Sea y sea como se definió en el enunciado anterior. Al definir un nuevo proceso estocástico para , entonces el proceso se denomina proceso semi-Markov, ya que ocurre en una cadena de Markov de tiempo continuo . El proceso es markoviano sólo en los instantes de salto especificados, lo que justifica el nombre de semi -Markov. ^{[1] [2] [3]} (Ver también: modelo semi-Markov oculto .) ${\displaystyle X_{n}}$ ${\displaystyle T_{n}}$ ${\displaystyle Y_{t}:=X_{n}}$ ${\displaystyle t\in [T_{n},T_{n+1})}$ ${\displaystyle Y_{t}}$
2. Un proceso semi-Markov (definido en el punto anterior) en el que todos los tiempos de retención están distribuidos exponencialmente se denomina cadena de Markov de tiempo continuo . En otras palabras, si los tiempos entre llegadas se distribuyen exponencialmente y si el tiempo de espera en un estado y el siguiente estado alcanzado son independientes, tenemos una cadena de Markov de tiempo continuo.

   ${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\[3pt]={}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\\[3pt]={}&\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),{\text{ for all }}n\geq 1,t\geq 0,i,j\in \mathrm {S} ,i\neq j\end{aligned}}}$

3. La secuencia en el proceso de renovación de Markov es una cadena de Markov de tiempo discreto . En otras palabras, si se ignoran las variables de tiempo en la ecuación del proceso de renovación de Markov, terminamos con una cadena de Markov de tiempo discreto . ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},X_{1},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i)\,\forall n\geq 1,i,j\in \mathrm {S} }$

4. Si la secuencia de s es independiente y está idénticamente distribuida, y si su distribución no depende del estado , entonces el proceso es una renovación . Entonces, si se ignoran los estados y tenemos una cadena de tiempos iid, entonces tenemos un proceso de renovación. ${\displaystyle \tau }$ ${\displaystyle X_{n}}$

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},T_{1},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t)\,\forall n\geq 1,\forall t\geq 0}$

Ver también

• proceso de markov
• Teoría de la renovación
• Modelo de Markov de orden variable
• Modelo semi-Markov oculto

Referencias

1. Medhi, J. (1982). Procesos estocásticos . Nueva York: Wiley & Sons. ISBN 978-0-470-27000-4.
2. Ross, Sheldon M. (1999). Procesos estocásticos (2ª ed.). Nueva York [ua]: Routledge. ISBN 978-0-471-12062-9.
3. Barbú, Vlad Stefan; Limnios, Nikolaos (2008). "Cadenas de Semi-Markov y modelos de semi-Markov ocultos hacia aplicaciones: su uso en confiabilidad y análisis de ADN" . Nueva York: Springer. ISBN 978-0-387-73171-1.