Cadena de Markov de tiempo continuo

Concepto de probabilidad

Una cadena de Markov de tiempo continuo ( CTMC ) es un proceso estocástico continuo en el que, para cada estado, el proceso cambiará de estado según una variable aleatoria exponencial y luego pasará a un estado diferente según lo especificado por las probabilidades de una matriz estocástica . Una formulación equivalente describe el proceso como un proceso que cambia de estado según el valor más bajo de un conjunto de variables aleatorias exponenciales, una para cada estado posible al que puede pasar, con los parámetros determinados por el estado actual.

Un ejemplo de un CTMC con tres estados es el siguiente: el proceso realiza una transición después de la cantidad de tiempo especificada por el tiempo de espera , una variable aleatoria exponencial , donde i es su estado actual. Cada variable aleatoria es independiente y tal que , y . Cuando se debe realizar una transición, el proceso se mueve de acuerdo con la cadena de salto , una cadena de Markov de tiempo discreto con matriz estocástica: ${\displaystyle \{0,1,2\}}$ ${\displaystyle E_{i}}$ ${\displaystyle E_{0}\sim {\text{Exp}}(6)}$ ${\displaystyle E_{1}\sim {\text{Exp}}(12)}$ ${\displaystyle E_{2}\sim {\text{Exp}}(18)}$

${\displaystyle {\begin{bmatrix}0&{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{3}}&0&{\frac {2}{3}}\\{\frac {5}{6}}&{\frac {1}{6}}&0\end{bmatrix}}.}$

De manera equivalente, por la propiedad de las exponenciales en competencia , este CTMC cambia de estado desde el estado i de acuerdo con el mínimo de dos variables aleatorias, que son independientes y tales que para donde los parámetros están dados por la matriz Q ${\displaystyle E_{i,j}\sim {\text{Exp}}(q_{i,j})}$ ${\displaystyle i\neq j}$ ${\displaystyle Q=(q_{i,j})}$

${\displaystyle {\begin{bmatrix}-6&3&3\\4&-12&8\\15&3&-18\end{bmatrix}}.}$

Cada entrada no diagonal se puede calcular como la probabilidad de que la cadena de salto se mueva del estado i al estado j , dividida por el tiempo de retención esperado del estado i . Las entradas diagonales se eligen de modo que cada fila sume 0. ${\displaystyle q_{i,j}}$

Un CTMC satisface la propiedad de Markov , de que su comportamiento depende sólo de su estado actual y no de su comportamiento pasado, debido a la falta de memoria de la distribución exponencial y de las cadenas de Markov de tiempo discreto.

Definición

Sea un espacio de probabilidad, sea un conjunto numerable no vacío y sea ( para "tiempo"). Equipe con la métrica discreta , de modo que podamos entender la continuidad correcta de funciones . Una cadena de Markov de tiempo continuo se define por: ^[1] ${\displaystyle (\Omega ,{\cal {A}},\Pr )}$ ${\displaystyle S}$ ${\displaystyle T=\mathbb {R} _{\geq 0}}$ ${\displaystyle T}$ ${\displaystyle S}$ ${\displaystyle \mathbb {R} _{\geq 0}\to S}$

• Un vector de probabilidad en (que a continuación interpretaremos como la distribución inicial de la cadena de Markov), y ${\displaystyle \lambda }$ ${\displaystyle S}$
• Una matriz de tasas en , es decir, una función tal que ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle Q:S^{2}\to \mathbb {R} }$

1. para todos los distintos , ${\displaystyle i,j\in S,0\leq q_{i,j}}$
2. para todos (Incluso si es infinito, esta suma está bien definida a priori (posiblemente igual a ) porque cada término que aparece en la suma no es negativo. A posteriori , sabemos que la suma también debe ser finita (no igual a ), ya que estamos asumiendo que es igual a y hemos asumido que tiene un valor real. Algunos autores, en cambio, utilizan una definición que es palabra por palabra la misma excepto por una estipulación modificada , y dicen que es estable o totalmente estable para significar , es decir, cada entrada tiene un valor real.) ^{[2] [3] [4]} ${\displaystyle i\in S,}$ ${\displaystyle \sum _{j\in I:j\neq i}q_{i,j}=-q_{i,i}.}$ ${\displaystyle I}$ ${\displaystyle +\infty }$ ${\displaystyle +\infty }$ ${\displaystyle -q_{i,i}}$ ${\displaystyle Q}$ ${\displaystyle Q:S^{2}\to \mathbb {R} \cup \{-\infty \}}$ ${\displaystyle Q}$ ${\displaystyle \operatorname {range} Q\subseteq \mathbb {R} }$

Nótese que las sumas de filas de son 0: o, más sucintamente, . Esta situación contrasta con la situación de las cadenas de Markov de tiempo discreto , donde todas las sumas de filas de la matriz de transición son iguales a la unidad. ${\displaystyle Q}$ ${\displaystyle \forall i\in S~\sum _{j\in I}q_{i,j}=0,}$ ${\displaystyle Q\cdot 1=0}$

Ahora, sea tal que sea -medible. Hay tres formas equivalentes de definir ser Markov con distribución inicial y matriz de velocidad : a través de probabilidades de transición o a través de la cadena de salto y tiempos de retención. ^[5] ${\displaystyle X:T\to S^{\Omega }}$ ${\displaystyle \forall t\in T~X(t)}$ ${\displaystyle ({\cal {A}},{\cal {P}}(S))}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$

Como preludio a una definición de probabilidad de transición, primero motivamos la definición de una matriz de velocidad regular . Usaremos la matriz de velocidad de transición para especificar la dinámica de la cadena de Markov mediante la generación de una colección de matrices de transición en ( ), a través del siguiente teorema. ${\displaystyle Q}$ ${\displaystyle P(t)}$ ${\displaystyle S}$ ${\displaystyle t\in \mathbb {R} _{\geq 0}}$

Teorema: Existencia de solución para las ecuaciones de Kolmogorov hacia atrás . ^[6]  —  Existetal que para todala entradaes diferenciable ysatisface las ecuaciones de Kolmogorov hacia atrás : ${\displaystyle P\in ([0,1]^{S\times S})^{T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle P}$

Decimos que es regular para significar que tenemos unicidad para el sistema anterior, es decir, que existe exactamente una solución. ^{[7] [8]} Decimos que es irregular para significar que no es regular. Si es finito, entonces hay exactamente una solución, a saber y por lo tanto es regular. De lo contrario, es infinito, y existen matrices de velocidad de transición irregulares en . ^[a] Si es regular, entonces para la única solución , para cada , será una matriz estocástica . ^[6] Supondremos que es regular desde el principio de la siguiente subsección hasta el final de esta sección, aunque es convencional ^{[10] [11] [12]} no incluir esta suposición. (Nota para el experto: por lo tanto, no estamos definiendo cadenas de Markov de tiempo continuo en general, sino solo cadenas de Markov de tiempo continuo no explosivas ). ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle P=(e^{tQ})_{t\in T},}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle t\in T}$ ${\displaystyle P(t)}$ ${\displaystyle Q}$

Definición de probabilidad de transición

Sea la solución (única) del sistema ( 0 ). (Unicidad garantizada por nuestra suposición de que es regular). Decimos que es Markov con distribución inicial y matriz de velocidad para significar: para cualquier entero no negativo , para todos tales que para todos ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

Usando la inducción y el hecho de que podemos mostrar la equivalencia de la afirmación anterior que contiene ( 1 ) y la siguiente afirmación: para todos y para cualquier entero no negativo , para todos tales que para todos tales que (se sigue que ), ${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$ ${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I}$ ${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$ ${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$

De la continuidad de las funciones ( ) se deduce que la trayectoria es casi seguramente continua hacia la derecha (con respecto a la métrica discreta en ): existe un conjunto -nulo tal que . ^[13] ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (X_{t}(\omega ))_{t\in T}}$ ${\displaystyle S}$ ${\displaystyle \Pr }$ ${\displaystyle N}$ ${\displaystyle \{\omega \in \Omega :(X_{t}(\omega ))_{t\in T}{\text{ is right continuous}}\}\subseteq N}$

Definición de cadena de salto/tiempo de retención

Sucesiones asociadas a una función continua por la derecha

Sea continua derecha (cuando equipamos con la métrica discreta ). Definir ${\displaystyle f:T\to S}$ ${\displaystyle S}$

${\displaystyle h=h(f)=(\inf\{u\in (0,+\infty ):f(t+u)\neq f(t)\})_{t\in T})\cup \{+\infty ,0\},}$

dejar

${\displaystyle H=H(f)=(h^{\circ n}0)_{n\in \mathbb {Z} _{\geq 0}}}$

sea ​​la secuencia de tiempo de retención asociada a , elija y deje ${\displaystyle f}$ ${\displaystyle s\in S,}$

${\displaystyle y=y(f)=\left({\begin{cases}f(\sum _{k\in n}H_{k})&{\text{ if }}\sum _{k\in n}H_{k}<+\infty ,\\s&{\text{ else}}\end{cases}}\right)_{n\in \omega }}$

sea ​​"la secuencia de estados " asociada a . ${\displaystyle f}$

Definición de la matriz de salto Π

La matriz de salto , escrita alternativamente si deseamos enfatizar la dependencia de , es la matriz donde es el conjunto cero de la función ^[14] ${\displaystyle \Pi }$ ${\displaystyle \Pi (Q)}$ ${\displaystyle Q}$ $${\displaystyle \Pi =([i=j])_{i\in Z,j\in S}\cup \bigcup _{i\in S\setminus Z}(\{((i,j),(-Q_{i,i})^{-1}Q_{i,j}):j\in S\setminus \{i\}\}\cup \{((i,i),0)\}),}$$ ${\displaystyle Z=Z(Q)=\{k\in S:q_{k,k}=0\}}$ ${\displaystyle (q_{k,k})_{k\in S}.}$

Propiedad de cadena de salto/tiempo de retención

Decimos que es Markov con distribución inicial y matriz de velocidad para significar: las trayectorias de son casi seguramente continuas derechas, sea una modificación de para tener (en todas partes) trayectorias continuas derechas, casi seguramente (nota para expertos: esta condición dice que no es explosiva), la secuencia de estados es una cadena de Markov de tiempo discreto con distribución inicial (propiedad de cadena de salto) y matriz de transición y (propiedad de tiempo de retención). ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \sum _{n\in \mathbb {Z} _{\geq 0}}H(f(\omega ))_{n}=+\infty }$ ${\displaystyle X}$ ${\displaystyle y(f(\omega ))}$ ${\displaystyle \lambda }$ ${\displaystyle \Pi (Q),}$ ${\displaystyle \forall n\in \mathbb {Z} _{\geq 0}~\forall B\in {\cal {B}}(\mathbb {R} _{\geq 0})~\Pr(H_{n}(f)\in B)=\operatorname {Exp} (-q_{Y_{n},Y_{n}})(B)}$

Definición infinitesimal

La cadena de Markov de tiempo continuo se caracteriza por las tasas de transición, las derivadas con respecto al tiempo de las probabilidades de transición entre los estados i y j.

Decimos que es Markov con distribución inicial y matriz de velocidad , es decir: para todos y para todos , para todos y para pequeños valores estrictamente positivos de , se cumple lo siguiente para todos tales que : ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle i\in S,}$ ${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$ ${\displaystyle i,j}$ ${\displaystyle t}$ ${\displaystyle h}$ ${\displaystyle t\in T}$ ${\displaystyle 0<\Pr(X(t)=i)}$

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$,

donde el término es si y en caso contrario , y el término con o minúscula depende de cierta manera de . ^{[15] [16]} ${\displaystyle [i=j]}$ ${\displaystyle 1}$ ${\displaystyle i=j}$ ${\displaystyle 0}$ ${\displaystyle o(h)}$ ${\displaystyle i,j,h}$

La ecuación anterior muestra que puede considerarse como una medición de la rapidez con la que ocurre la transición de a para , y de la rapidez con la que ocurre la transición desde para . ${\displaystyle q_{i,j}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle i\neq j}$ ${\displaystyle i}$ ${\displaystyle i=j}$

Propiedades

Clases de comunicación

Las clases comunicantes, transitoriedad, recurrencia y recurrencia positiva y nula se definen de forma idéntica a las cadenas de Markov de tiempo discreto .

Comportamiento transitorio

Escriba P( t ) para la matriz con entradas p _ij = P( X _t  =  j  |  X ₀  =  i ). Entonces la matriz P( t ) satisface la ecuación directa, una ecuación diferencial de primer orden.

${\displaystyle P'(t)=P(t)Q}$,

donde la prima denota diferenciación respecto de t . La solución de esta ecuación viene dada por una matriz exponencial.

${\displaystyle P(t)=e^{tQ}}$.

En un caso simple como un CTMC en el espacio de estados {1,2}, la matriz Q general para un proceso de este tipo es la siguiente matriz 2 × 2 con α , β  > 0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

La relación anterior para la matriz directa se puede resolver explícitamente en este caso para obtener

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

Calcular soluciones directas es complicado en matrices más grandes. El hecho de que Q sea el generador de un semigrupo de matrices

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

se utiliza

Distribución estacionaria

La distribución estacionaria para un CTMC recurrente irreducible es la distribución de probabilidad a la que converge el proceso para valores grandes de t . Observe que para el proceso de dos estados considerado anteriormente con P( t ) dado por

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$,

cuando t  → ∞ la distribución tiende a

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

Observe que cada fila tiene la misma distribución, ya que esto no depende del estado inicial. El vector de fila π se puede encontrar resolviendo

${\displaystyle \pi Q=0}$

Con la restricción

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

Ejemplo 1

Representación gráfica dirigida de una cadena de Markov en tiempo continuo que describe el estado de los mercados financieros (nota: los números son inventados).

La imagen de la derecha describe una cadena de Markov de tiempo continuo con espacio de estados {mercado alcista, mercado bajista, mercado estancado} y matriz de tasa de transición .

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

La distribución estacionaria de esta cadena se puede encontrar resolviendo , sujeta a la restricción de que los elementos deben sumar 1 para obtener ${\displaystyle \pi Q=0}$

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

Ejemplo 2

Gráfico de transición con probabilidades de transición, ejemplar para los estados 1, 5, 6 y 8. Hay un pasaje secreto bidireccional entre los estados 2 y 8.

La imagen de la derecha describe una cadena de Markov de tiempo discreto que modela a Pac-Man con espacio de estados {1,2,3,4,5,6,7,8,9}. El jugador controla a Pac-Man a través de un laberinto, comiendo pac-dots. Mientras tanto, es perseguido por fantasmas. Para mayor comodidad, el laberinto será una pequeña cuadrícula de 3x3 y los fantasmas se moverán aleatoriamente en direcciones horizontales y verticales. Se puede usar un pasadizo secreto entre los estados 2 y 8 en ambas direcciones. Las entradas con probabilidad cero se eliminan en la siguiente matriz de tasa de transición:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

Esta cadena de Markov es irreducible, porque los fantasmas pueden volar de cada estado a cada estado en una cantidad finita de tiempo. Debido al pasadizo secreto, la cadena de Markov también es aperiódica, porque los fantasmas pueden moverse de cualquier estado a cualquier estado tanto en un número par como en un número impar de transiciones de estado. Por lo tanto, existe una distribución estacionaria única y se puede encontrar resolviendo , sujeta a la restricción de que los elementos deben sumar 1. La solución de esta ecuación lineal sujeta a la restricción es El estado central y los estados fronterizos 2 y 8 del pasadizo secreto adyacente son los más visitados y los estados de las esquinas son los menos visitados. ${\displaystyle \pi Q=0}$ ${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$

Inversión del tiempo

Para un CTMC X _t , el proceso invertido en el tiempo se define como . Según el lema de Kelly, este proceso tiene la misma distribución estacionaria que el proceso directo. ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

Se dice que una cadena es reversible si el proceso inverso es el mismo que el proceso directo. El criterio de Kolmogorov establece que la condición necesaria y suficiente para que un proceso sea reversible es que el producto de las velocidades de transición alrededor de un bucle cerrado debe ser el mismo en ambas direcciones.

Cadena de Markov incorporada

Un método para encontrar la distribución de probabilidad estacionaria , π , de una cadena de Markov ergódica de tiempo continuo, Q , es encontrar primero su cadena de Markov incrustada (EMC) . Estrictamente hablando, la EMC es una cadena de Markov regular de tiempo discreto. Cada elemento de la matriz de probabilidad de transición de un paso de la EMC, S , se denota por s _ij y representa la probabilidad condicional de transición del estado i al estado j . Estas probabilidades condicionales se pueden encontrar mediante

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

A partir de esto, S puede escribirse como

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

donde I es la matriz identidad y diag( Q ) es la matriz diagonal formada al seleccionar la diagonal principal de la matriz Q y establecer todos los demás elementos en cero.

Para encontrar el vector de distribución de probabilidad estacionaria, debemos encontrar a continuación tal que ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

siendo un vector fila, de modo que todos los elementos en son mayores que 0 y = 1. A partir de esto, π se puede encontrar como ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S puede ser periódico, incluso si Q no lo es. Una vez que se encuentra π , debe normalizarse a un vector unitario ).

Otro proceso de tiempo discreto que puede derivarse de una cadena de Markov de tiempo continuo es un δ-esqueleto: la cadena de Markov (de tiempo discreto) formada al observar X ( t ) a intervalos de δ unidades de tiempo. Las variables aleatorias X (0),  X (δ),  X (2δ), ... dan la secuencia de estados visitados por el δ-esqueleto.

Véase también

• Ecuaciones de Kolmogorov (proceso de salto de Markov)

Notas

1. Ross, SM (2010). Introducción a los modelos de probabilidad (10.ª ed.). Elsevier. ISBN 978-0-12-375686-2.
2. Anderson 1991, Véase la definición en la página 64.
3. Chen y Mao 2021, Definición 2.2.
4. Chen 2004, Definición 0.1(4).
5. Norris 1997, Teorema 2.8.4 y Teorema 2.8.2(b).
6. Anderson 1991, Teorema 2.2.2(1), página 70.
7. Anderson 1991, Definición en la página 81.
8. Chen 2004, página 2.
9. Anderson 1991, página 20.
10. Suhov y Kelbert 2008, Definición 2.6.3.
11. Chen y Mao 2021, Definición 2.1.
12. Chen 2004, Definición 0.1.
13. Chen y Mao 2021, página 56, justo debajo de la Definición 2.2.
14. Norris 1997, página 87.
15. Suhov y Kelbert 2008, Teorema 2.6.6.
16. Norris 1997, Teorema 2.8.2(c).

Referencias

• Anderson, William J. (1991). Cadenas de Markov de tiempo continuo: un enfoque orientado a aplicaciones . Springer.
• Leo Breiman (1992) [1968] Probabilidad . Edición original publicada por Addison-Wesley; reimpresa por la Sociedad de Matemáticas Industriales y Aplicadas ISBN 0-89871-296-3 . (Véase el capítulo 7) 
• Chen, Mu-Fa (2004). De las cadenas de Markov a los sistemas de partículas en desequilibrio (segunda edición). World Scientific.
• Chen, Mu-Fa; Mao, Yong-Hua (2021). Introducción a los procesos estocásticos . World Scientific.
• JL Doob (1953) Procesos estocásticos . Nueva York: John Wiley and Sons ISBN 0-471-52369-0 . 
• AA Markov (1971). "Extensión de los teoremas límite de la teoría de la probabilidad a una suma de variables conectadas en una cadena". Reimpreso en el Apéndice B de: R. Howard. Sistemas probabilísticos dinámicos, volumen 1: Cadenas de Markov . John Wiley and Sons.
• Markov, AA (2006). "Un ejemplo de investigación estadística del texto Eugene Onegin sobre la conexión de muestras en cadenas". Science in Context . 19 (4). Traducido por Link, David: 591–600. doi :10.1017/s0269889706001074. S2CID  144854176.
• SP Meyn y RL Tweedie (1993) Markov Chains and Stochastic Stability . Londres: Springer-Verlag ISBN 0-387-19832-6 . en línea: MCSS . Segunda edición en aparecer, Cambridge University Press, 2009. 
• Kemeny, John G.; Hazleton Mirkil; J. Laurie Snell; Gerald L. Thompson (1959). Estructuras matemáticas finitas (1.ª ed.). Englewood Cliffs, NJ: Prentice-Hall, Inc. Catálogo de fichas de la Biblioteca del Congreso, número 59-12841.Texto clásico. Véase el Capítulo 6 Cadenas de Markov finitas, págs. 384 y siguientes.
• John G. Kemeny y J. Laurie Snell (1960) Cadenas finitas de Markov , D. van Nostrand Company ISBN 0-442-04328-7 
• E. Nummelin. Cadenas de Markov irreducibles generales y operadores no negativos . Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X 
• Norris, JR (1997). Cadenas de Markov . doi :10.1017/CBO9780511810633.005. ISBN 9780511810633.
• Seneta, E. Matrices no negativas y cadenas de Markov . 2.ª ed. rev., 1981, XVI, 288 págs., Tapa blanda Springer Series in Statistics. (Publicado originalmente por Allen & Unwin Ltd., Londres, 1973) ISBN 978-0-387-29765-1 
• Suhov, Yuri; Kelbert, Mark (2008). Cadenas de Markov: una introducción a los procesos aleatorios y sus aplicaciones . Cambridge University Press.

1. Por ejemplo, considere el ejemplo y siendo la matriz de tasa de transición (única) en tal que . (Entonces las entradas restantes de serán todas cero. Cf. proceso de nacimiento ). Entonces es irregular. Entonces, para el infinito general , la indexación por los números enteros no negativos da como resultado que una versión modificada adecuadamente de la matriz anterior será irregular. ^[9] ${\displaystyle S=\mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle \forall i\in \mathbb {Z} _{\geq 0}~~Q_{i,i+1}=i^{2},~Q_{i,i}=-i^{2}}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle \mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$