Teorema de Foster

En teoría de la probabilidad , el teorema de Foster , llamado así por Gordon Foster , ^[1] se utiliza para extraer conclusiones sobre la recurrencia positiva de las cadenas de Markov con espacios de estados contables . Utiliza el hecho de que las cadenas de Markov con recurrencia positiva exhiben una noción de " estabilidad de Lyapunov " en términos de regresar a cualquier estado a partir del cual se parte dentro de un intervalo de tiempo finito.

Teorema

Consideremos una cadena de Markov de tiempo discreto irreducible en un espacio de estados contable que tiene una matriz de probabilidad de transición con elementos para pares , en . El teorema de Foster establece que la cadena de Markov es recurrente positiva si y solo si existe una función de Lyapunov , tal que y ${\displaystyle S}$ ${\displaystyle P}$ ${\displaystyle p_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle S}$ ${\displaystyle V:S\to \mathbb {R} }$ ${\displaystyle V(i)\geq 0{\text{ }}\forall {\text{ }}i\in S}$

1. ${\displaystyle \sum _{j\in S}p_{ij}V(j)<{\infty }}$para ${\displaystyle i\in F}$
2. ${\displaystyle \sum _{j\in S}p_{ij}V(j)\leq V(i)-\varepsilon }$a pesar de ${\displaystyle i\notin F}$

para algún conjunto finito y estrictamente positivo . ^[2] ${\displaystyle F}$ ${\displaystyle \varepsilon }$

Enlaces relacionados

• Optimización de Lyapunov

Referencias

1. Foster, FG (1953). "Sobre las matrices estocásticas asociadas con ciertos procesos de colas". Anales de estadística matemática . 24 (3): 355. doi : 10.1214/aoms/1177728976 . JSTOR  2236286.
2. Brémaud, P. (1999). "Funciones de Lyapunov y martingalas". Cadenas de Markov . págs.167. doi :10.1007/978-1-4757-3124-8_5. ISBN 978-1-4419-3131-3.