Cadena de Markov de tiempo continuo

Concepto de probabilidad

Una cadena de Markov de tiempo continuo ( CTMC ) es un proceso estocástico continuo en el que, para cada estado, el proceso cambiará de estado de acuerdo con una variable aleatoria exponencial y luego se moverá a un estado diferente según lo especificado por las probabilidades de una matriz estocástica . Una formulación equivalente describe el proceso como un cambio de estado de acuerdo con el valor mínimo de un conjunto de variables aleatorias exponenciales, una para cada estado posible al que puede moverse, con los parámetros determinados por el estado actual.

Un ejemplo de un CTMC con tres estados es el siguiente: el proceso realiza una transición después del tiempo especificado por el tiempo de espera , una variable aleatoria exponencial , donde i es su estado actual. Cada variable aleatoria es independiente y tal que , y . Cuando se va a realizar una transición, el proceso se mueve según la cadena de salto , una cadena de Markov de tiempo discreto con matriz estocástica: ${\displaystyle \{0,1,2\}}$ ${\displaystyle E_{i}}$ ${\displaystyle E_{0}\sim {\text{Exp}}(6)}$ ${\displaystyle E_{1}\sim {\text{Exp}}(12)}$ ${\displaystyle E_{2}\sim {\text{Exp}}(18)}$

${\displaystyle {\begin{bmatrix}0&{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{3}}&0&{\frac {2}{3}}\\{\frac {5}{6}}&{\frac {1}{6}}&0\end{bmatrix}}.}$

De manera equivalente, por la propiedad de las exponenciales en competencia , este CTMC cambia de estado desde el estado i de acuerdo con el mínimo de dos variables aleatorias, que son independientes y tales que los parámetros están dados por la matriz Q. ${\displaystyle E_{i,j}\sim {\text{Exp}}(q_{i,j})}$ ${\displaystyle i\neq j}$ ${\displaystyle Q=(q_{i,j})}$

${\displaystyle {\begin{bmatrix}-6&3&3\\4&-12&8\\15&3&-18\end{bmatrix}}.}$

Cada entrada no diagonal se puede calcular como la probabilidad de que la cadena de salto se mueva del estado i al estado j , dividida por el tiempo de espera esperado del estado i . Las entradas diagonales se eligen de modo que cada fila sume 0. ${\displaystyle q_{i,j}}$

Un CTMC satisface la propiedad de Markov , de que su comportamiento depende sólo de su estado actual y no de su comportamiento pasado, debido a la falta de memoria de la distribución exponencial y de las cadenas de Markov en tiempo discreto.

Definición

Sea un espacio de probabilidad, sea un conjunto contable no vacío y sea ( para "tiempo"). Equipado con la métrica discreta , para que podamos entender la continuidad correcta de las funciones . Una cadena de Markov de tiempo continuo se define por: ^[1] ${\displaystyle (\Omega ,{\cal {A}},\Pr )}$ ${\displaystyle S}$ ${\displaystyle T=\mathbb {R} _{\geq 0}}$ ${\displaystyle T}$ ${\displaystyle S}$ ${\displaystyle \mathbb {R} _{\geq 0}\to S}$

• Un vector de probabilidad sobre (que a continuación interpretaremos como la distribución inicial de la cadena de Markov), y ${\displaystyle \lambda }$ ${\displaystyle S}$
• Una matriz de tasas en , es decir, una función tal que ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle Q:S^{2}\to \mathbb {R} }$

1. para todos los distintos , ${\displaystyle i,j\in S,0\leq q_{i,j}}$
2. para todos (Incluso si es infinita, esta suma está a priori bien definida (posiblemente igual a ) porque cada término que aparece en la suma no es negativo. A posteriori , sabemos que la suma también debe ser finita (no igual a ), ya que estamos asumiendo que es igual a y hemos asumido que tiene un valor real. Algunos autores en cambio usan una definición que es palabra por palabra la misma excepto por una estipulación modificada , y dicen es estable o totalmente estable para significar , es decir, cada entrada tiene un valor real .) ^{[2] [3] [4]} ${\displaystyle i\in S,}$ ${\displaystyle \sum _{j\in I:j\neq i}q_{i,j}=-q_{i,i}.}$ ${\displaystyle I}$ ${\displaystyle +\infty }$ ${\displaystyle +\infty }$ ${\displaystyle -q_{i,i}}$ ${\displaystyle Q}$ ${\displaystyle Q:S^{2}\to \mathbb {R} \cup \{-\infty \}}$ ${\displaystyle Q}$ ${\displaystyle \operatorname {range} Q\subseteq \mathbb {R} }$

Tenga en cuenta que las sumas de las filas son 0: o más sucintamente ,. Esta situación contrasta con la situación de las cadenas de Markov de tiempo discreto , donde todas las sumas de filas de la matriz de transición son iguales a la unidad. ${\displaystyle Q}$ ${\displaystyle \forall i\in S~\sum _{j\in I}q_{i,j}=0,}$ ${\displaystyle Q\cdot 1=0}$

Ahora, dejemos algo que sea mensurable. Hay tres formas equivalentes de definir ser Markov con distribución inicial y matriz de tasas : mediante probabilidades de transición o mediante la cadena de salto y tiempos de espera. ^[5] ${\displaystyle X:T\to S^{\Omega }}$ ${\displaystyle \forall t\in T~X(t)}$ ${\displaystyle ({\cal {A}},{\cal {P}}(S))}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$

Como preludio a una definición de probabilidad de transición, primero motivamos la definición de una matriz de tasas regular . Usaremos la matriz de tasa de transición para especificar la dinámica de la cadena de Markov generando una colección de matrices de transición en ( ), mediante el siguiente teorema. ${\displaystyle Q}$ ${\displaystyle P(t)}$ ${\displaystyle S}$ ${\displaystyle t\in \mathbb {R} _{\geq 0}}$

Teorema: Existencia de solución a las ecuaciones hacia atrás de Kolmogorov . ^[6]  -  Existetal que para todosla entradaes diferenciable ysatisface las ecuaciones hacia atrás de Kolmogorov : ${\displaystyle P\in ([0,1]^{S\times S})^{T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle P}$

Decimos que es regular en el sentido de que tenemos unicidad para el sistema anterior, es decir, que existe exactamente una solución. ^{[7] [8]} Decimos que es irregular para decir que no es regular. Si es finito, entonces hay exactamente una solución, es decir, y por tanto es regular. De lo contrario, es infinito y existen matrices de tasas de transición irregulares en . ^[a] Si es regular, entonces para la solución única , para cada uno , será una matriz estocástica . ^[6] Supondremos que es regular desde el comienzo de la siguiente subsección hasta el final de esta sección, aunque es convencional ^{[10] [11] [12]} no incluir esta suposición. (Nota para el experto: por lo tanto, no estamos definiendo cadenas de Markov de tiempo continuo en general, sino sólo cadenas de Markov de tiempo continuo no explosivas ). ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle P=(e^{tQ})_{t\in T},}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle t\in T}$ ${\displaystyle P(t)}$ ${\displaystyle Q}$

Definición de probabilidad de transición

Sea la solución (única) del sistema ( 0 ). (La unicidad está garantizada por nuestra suposición de que es regular). Decimos que Markov tiene una distribución inicial y una matriz de tasas que significa: para cualquier entero no negativo , para todos tal que para todos ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

Usando la inducción y el hecho de que podemos mostrar la equivalencia del enunciado anterior que contiene ( 1 ) y el siguiente enunciado: para todos y para cualquier entero no negativo , para todos los tales que para todos los tales que (se deduce que ), ${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$ ${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I}$ ${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$ ${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$

De la continuidad de las funciones ( ) se deduce que la trayectoria es casi con seguridad continua (con respecto a la métrica discreta de ): existe un conjunto nulo tal que . ^[13] ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (X_{t}(\omega ))_{t\in T}}$ ${\displaystyle S}$ ${\displaystyle \Pr }$ ${\displaystyle N}$ ${\displaystyle \{\omega \in \Omega :(X_{t}(\omega ))_{t\in T}{\text{ is right continuous}}\}\subseteq N}$

Definición de cadena de salto/tiempo de espera

Secuencias asociadas a una función continua por la derecha

Sea continuo a la derecha (cuando equipamos con la métrica discreta ). Definir ${\displaystyle f:T\to S}$ ${\displaystyle S}$

${\displaystyle h=h(f)=(\inf\{u\in (0,+\infty ):f(t+u)\neq f(t)\})_{t\in T})\cup \{+\infty ,0\},}$

dejar

${\displaystyle H=H(f)=(h^{\circ n}0)_{n\in \mathbb {Z} _{\geq 0}}}$

Sea la secuencia de tiempo de espera asociada a , elija y deje ${\displaystyle f}$ ${\displaystyle s\in S,}$

${\displaystyle y=y(f)=\left({\begin{cases}f(\sum _{k\in n}H_{k})&{\text{ if }}\sum _{k\in n}H_{k}<+\infty ,\\s&{\text{ else}}\end{cases}}\right)_{n\in \omega }}$

ser "la secuencia de estados " asociada a . ${\displaystyle f}$

Definición de la matriz de salto Π

La matriz de salto , escrita alternativamente si deseamos enfatizar la dependencia de , es la matriz ${\displaystyle \Pi }$ ${\displaystyle \Pi (Q)}$ ${\displaystyle Q}$

$${\displaystyle \Pi =([i=j])_{i\in Z,j\in S}\cup \bigcup _{i\in S\setminus Z}(\{((i,j),(-Q_{i,i})^{-1}Q_{i,j}):j\in S\setminus \{i\}\}\cup \{((i,i),0)\}),}$$

conjunto cero^[14]? ${\displaystyle Z=Z(Q)=\{k\in S:q_{k,k}=0\}}$ ${\displaystyle (q_{k,k})_{k\in S}.}$

Propiedad de cadena de salto/tiempo de espera

Decimos que es Markov con distribución inicial y matriz de tasas para significar: las trayectorias de son casi con seguridad continuas correctas, sea una modificación de para tener (en todas partes) trayectorias continuas correctas, casi con seguridad (nota para los expertos: esta condición dice que no es explosivo), la secuencia de estados es una cadena de Markov de tiempo discreto con distribución inicial (propiedad de cadena de salto) y matriz de transición ( propiedad de tiempo de retención). ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \sum _{n\in \mathbb {Z} _{\geq 0}}H(f(\omega ))_{n}=+\infty }$ ${\displaystyle X}$ ${\displaystyle y(f(\omega ))}$ ${\displaystyle \lambda }$ ${\displaystyle \Pi (Q),}$ ${\displaystyle \forall n\in \mathbb {Z} _{\geq 0}~\forall B\in {\cal {B}}(\mathbb {R} _{\geq 0})~\Pr(H_{n}(f)\in B)=\operatorname {Exp} (-q_{Y_{n},Y_{n}})(B)}$

Definición infinitesimal

La cadena de Markov de tiempo continuo se caracteriza por las tasas de transición, las derivadas con respecto al tiempo de las probabilidades de transición entre los estados i y j.

Decimos que es Markov con distribución inicial y matriz de tasas para significar: para todos y para todos , para todos y para pequeños valores estrictamente positivos de , lo siguiente se cumple para todos tales que : ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle i\in S,}$ ${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$ ${\displaystyle i,j}$ ${\displaystyle t}$ ${\displaystyle h}$ ${\displaystyle t\in T}$ ${\displaystyle 0<\Pr(X(t)=i)}$

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$,

donde el término es if y else , y el término little-o depende de cierta manera de . ^{[15] [16]} ${\displaystyle [i=j]}$ ${\displaystyle 1}$ ${\displaystyle i=j}$ ${\displaystyle 0}$ ${\displaystyle o(h)}$ ${\displaystyle i,j,h}$

La ecuación anterior muestra que se puede considerar que mide la rapidez con la que se produce la transición de a y la rapidez con la que se produce la transición de . ${\displaystyle q_{i,j}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle i\neq j}$ ${\displaystyle i}$ ${\displaystyle i=j}$

Propiedades

Clases comunicativas

Las clases comunicantes, la fugacidad, la recurrencia y la recurrencia positiva y nula se definen de manera idéntica a las cadenas de Markov de tiempo discreto .

Comportamiento transitorio

Escriba P( t ) para la matriz con entradas p _ij = P( X _t  =  j  |  X ₀  =  i ). Entonces la matriz P( t ) satisface la ecuación directa, una ecuación diferencial de primer orden

${\displaystyle P'(t)=P(t)Q}$,

donde el primo denota diferenciación con respecto a t . La solución a esta ecuación viene dada por una matriz exponencial.

${\displaystyle P(t)=e^{tQ}}$.

En un caso simple como CTMC en el espacio de estados {1,2}. La matriz Q general para tal proceso es la siguiente matriz 2 × 2 con α , β  > 0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

La relación anterior para la matriz directa se puede resolver explícitamente en este caso para dar

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

Calcular soluciones directas es complicado en matrices más grandes. El hecho de que Q sea el generador de un semigrupo de matrices.

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

se utiliza.

Distribución estacionaria

La distribución estacionaria para un CTMC recurrente irreducible es la distribución de probabilidad a la que converge el proceso para valores grandes de t . Observe que para el proceso de dos estados considerado anteriormente con P( t ) dada por

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$,

cuando t  → ∞ la distribución tiende a

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

Observe que cada fila tiene la misma distribución ya que esto no depende del estado inicial. El vector fila π se puede encontrar resolviendo

${\displaystyle \pi Q=0}$

con la restricción

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

Ejemplo 1

Representación gráfica dirigida de una cadena de Markov de tiempo continuo que describe el estado de los mercados financieros (nota: los números son inventados).

La imagen de la derecha describe una cadena de Markov de tiempo continuo con espacio de estados {mercado alcista, mercado bajista, mercado estancado} y matriz de tasas de transición.

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

La distribución estacionaria de esta cadena se puede encontrar resolviendo , sujeto a la restricción de que los elementos deben sumar 1 para obtener ${\displaystyle \pi Q=0}$

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

Ejemplo 2

Gráfico de transición con probabilidades de transición, ejemplar para los estados 1, 5, 6 y 8. Existe un pasaje secreto bidireccional entre los estados 2 y 8.

La imagen de la derecha describe una cadena de Markov de tiempo discreto que modela Pac-Man con espacio de estados {1,2,3,4,5,6,7,8,9}. El jugador controla a Pac-Man a través de un laberinto, comiendo pac-dots. Mientras tanto, los fantasmas lo persiguen. Para mayor comodidad, el laberinto será una pequeña cuadrícula de 3x3 y los monstruos se moverán aleatoriamente en direcciones horizontales y verticales. Se puede utilizar un pasadizo secreto entre los estados 2 y 8 en ambas direcciones. Las entradas con probabilidad cero se eliminan en la siguiente matriz de tasa de transición:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

Esta cadena de Markov es irreductible, porque los fantasmas pueden volar de cada estado a cada estado en un tiempo finito. Debido al pasadizo secreto, la cadena de Markov también es aperiódica, porque los monstruos pueden moverse de cualquier estado a cualquier estado tanto en un número par como en un número impar de transiciones de estado. Por lo tanto, existe una distribución estacionaria única y se puede encontrar resolviendo , sujeta a la restricción de que los elementos deben sumar 1. La solución de esta ecuación lineal sujeta a la restricción es El estado central y los estados fronterizos 2 y 8 del secreto adyacente los pasillos son los más visitados y los estados de las esquinas son los menos visitados. ${\displaystyle \pi Q=0}$ ${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$

Inversión del tiempo

Para un CTMC Xt , el proceso inverso en _el tiempo se define como . Según el lema de Kelly, este proceso tiene la misma distribución estacionaria que el proceso directo. ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

Se dice que una cadena es reversible si el proceso inverso es el mismo que el proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las velocidades de transición alrededor de un circuito cerrado debe ser el mismo en ambas direcciones.

Cadena de Markov integrada

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , es encontrar primero su cadena de Markov incorporada (EMC) . Estrictamente hablando, la EMC es una cadena de Markov regular en tiempo discreto. Cada elemento de la matriz de probabilidad de transición de un paso del EMC, S , se denota por s _ij y representa la probabilidad condicional de transición del estado i al estado j . Estas probabilidades condicionales se pueden encontrar mediante

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

A partir de esto, S puede escribirse como

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

donde I es la matriz identidad y diag( Q ) es la matriz diagonal formada seleccionando la diagonal principal de la matriz Q y estableciendo todos los demás elementos en cero.

Para encontrar el vector de distribución de probabilidad estacionaria, a continuación debemos encontrar tal que ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

siendo un vector fila, tal que todos los elementos son mayores que 0 y = 1. A partir de esto, π se puede encontrar como ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , se debe normalizar a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un esqueleto δ: la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0),  X (δ),  X (2δ), ... dan la secuencia de estados visitados por el δ-esqueleto.

Ver también

• Ecuaciones de Kolmogorov (proceso de salto de Markov)

Notas

1. Ross, SM (2010). Introducción a los modelos de probabilidad (10 ed.). Elsevier. ISBN 978-0-12-375686-2.
2. Anderson 1991, consulte la definición en la página 64.
3. Chen y Mao 2021, Definición 2.2.
4. Chen 2004, Definición 0.1 (4).
5. Norris 1997, Teorema 2.8.4 y Teorema 2.8.2 (b).
6. Anderson 1991, Teorema 2.2.2 (1), página 70.
7. Anderson 1991, Definición en la página 81.
8. Chen 2004, página 2.
9. Anderson 1991, página 20.
10. Suhov y Kelbert 2008, Definición 2.6.3.
11. Chen y Mao 2021, Definición 2.1.
12. Chen 2004, Definición 0.1.
13. Chen & Mao 2021, página 56, justo debajo de la Definición 2.2.
14. Norris 1997, página 87.
15. Suhov y Kelbert 2008, Teorema 2.6.6.
16. Norris 1997, Teorema 2.8.2 (c).

Referencias

• Anderson, William J. (1991). Cadenas de Markov de tiempo continuo: un enfoque orientado a aplicaciones . Saltador.
• Leo Breiman (1992) [1968] Probabilidad . Edición original publicada por Addison-Wesley; reimpreso por la Sociedad de Matemáticas Industriales y Aplicadas ISBN 0-89871-296-3 . (Ver Capítulo 7) 
• Chen, Mu-Fa (2004). De las cadenas de Markov a los sistemas de partículas en desequilibrio (Segunda ed.). Científico mundial.
• Chen, Mu-Fa; Mao, Yong-Hua (2021). Introducción a los procesos estocásticos . Científico mundial.
• JL Doob (1953) Procesos estocásticos . Nueva York: John Wiley and Sons ISBN 0-471-52369-0 . 
• AA Markov (1971). "Extensión de los teoremas límite de la teoría de la probabilidad a una suma de variables conectadas en cadena". reimpreso en el Apéndice B de: R. Howard. Sistemas probabilísticos dinámicos, volumen 1: Cadenas de Markov . John Wiley e hijos.
• Markov, AA (2006). "Un ejemplo de investigación estadística del texto de Eugene Onegin sobre la conexión de muestras en cadenas". Ciencia en contexto . 19 (4). Traducido por Link, David: 591–600. doi :10.1017/s0269889706001074. S2CID  144854176.
• SP Meyn y RL Tweedie (1993) Cadenas de Markov y estabilidad estocástica . Londres: Springer-Verlag ISBN 0-387-19832-6 . en línea: MCSS. Segunda edición en aparecer, Cambridge University Press, 2009. 
• Kemeny, John G.; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Estructuras matemáticas finitas (1ª ed.). Englewood Cliffs, Nueva Jersey: Prentice-Hall, Inc. Número de catálogo de tarjetas de la Biblioteca del Congreso 59-12841.Texto clásico. cf. Capítulo 6 Cadenas finitas de Markov, págs. 384 y siguientes.
• John G. Kemeny y J. Laurie Snell (1960) Cadenas finitas de Markov , D. van Nostrand Company ISBN 0-442-04328-7 
• E. Numelin. Cadenas generales de Markov irreducibles y operadores no negativos . Prensa de la Universidad de Cambridge, 1984, 2004. ISBN 0-521-60494-X 
• Norris, JR (1997). Cadenas de Markov . doi :10.1017/CBO9780511810633.005. ISBN 9780511810633.
• Seneta, E. Matrices no negativas y cadenas de Markov . 2da rev. ed., 1981, XVI, 288 p., Serie Springer de tapa blanda en Estadística. (Publicado originalmente por Allen & Unwin Ltd., Londres, 1973) ISBN 978-0-387-29765-1 
• Suhov, Yuri; Kelbert, Marcos (2008). Cadenas de Markov: una introducción a los procesos aleatorios y sus aplicaciones . Prensa de la Universidad de Cambridge.

1. Por ejemplo, considere el ejemplo y ser la matriz de tasa de transición (única) tal que . (Entonces las entradas restantes de serán todas cero. Cf. proceso de nacimiento ). Entonces es irregular. Entonces, para el infinito general , la indexación por números enteros no negativos produce que una versión adecuadamente modificada de la matriz anterior será irregular. ^[9] ${\displaystyle S=\mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle \forall i\in \mathbb {Z} _{\geq 0}~~Q_{i,i+1}=i^{2},~Q_{i,i}=-i^{2}}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle \mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$