propiedad de markov

Propiedad sin memoria de un proceso estocástico.

Una realización única del movimiento browniano tridimensional para tiempos 0 ≤ t ≤ 2. El movimiento browniano tiene la propiedad de Markov, ya que el desplazamiento de la partícula no depende de sus desplazamientos pasados.

En teoría de la probabilidad y estadística , el término propiedad de Markov se refiere a la propiedad sin memoria de un proceso estocástico , lo que significa que su evolución futura es independiente de su historia. Lleva el nombre del matemático ruso Andrey Markov . ^[1] El término propiedad fuerte de Markov es similar a la propiedad de Markov, excepto que el significado de "presente" se define en términos de una variable aleatoria conocida como tiempo de parada .

El término supuesto de Markov se utiliza para describir un modelo en el que se supone que se cumple la propiedad de Markov, como un modelo de Markov oculto .

Un campo aleatorio de Markov extiende esta propiedad a dos o más dimensiones o a variables aleatorias definidas para una red interconectada de elementos. ^[2] Un ejemplo de un modelo para tal campo es el modelo de Ising .

Un proceso estocástico de tiempo discreto que satisface la propiedad de Markov se conoce como cadena de Markov .

Introducción

Un proceso estocástico tiene la propiedad de Markov si la distribución de probabilidad condicional de los estados futuros del proceso (condicional a los valores pasados ​​y presentes) depende sólo del estado presente; es decir, dado el presente, el futuro no depende del pasado. Un proceso con esta propiedad se dice que es de Markov o Markoviano y se conoce como proceso de Markov . Dos clases famosas del proceso de Markov son la cadena de Markov y el movimiento browniano .

Tenga en cuenta que hay un punto sutil, a menudo pasado por alto y muy importante que a menudo se pasa por alto en la definición en inglés sencillo. Es decir, que el espacio de estados del proceso es constante a lo largo del tiempo. La descripción condicional implica un "ancho de banda" fijo. Por ejemplo, sin esta restricción podríamos aumentar cualquier proceso a uno que incluya la historia completa de una condición inicial dada y se convertiría en Markoviano. Pero el espacio de estados tendría una dimensionalidad creciente con el tiempo y no cumple con la definición.

Historia

Definición

Sea un espacio de probabilidad con una filtración , para algún conjunto de índices ( totalmente ordenado ) ; y que sea un espacio mensurable . Se dice que un proceso estocástico valorado adaptado a la filtración posee la propiedad de Markov si, para todos y cada uno con , ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle ({\mathcal {F}}_{s},\ s\in I)}$ ${\displaystyle I}$ ${\displaystyle (S,{\mathcal {S}})}$ ${\displaystyle (S,{\mathcal {S}})}$ ${\displaystyle X=\{X_{t}:\Omega \to S\}_{t\in I}}$ ${\displaystyle A\in {\mathcal {S}}}$ ${\displaystyle s,t\in I}$ ${\displaystyle s<t}$

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s}).}$^[3]

En el caso de que sea un conjunto discreto con el álgebra sigma discreta y , esto se puede reformular de la siguiente manera: ${\displaystyle S}$ ${\displaystyle I=\mathbb {N} }$

${\displaystyle P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1},\dots ,X_{0}=x_{0})=P(X_{n}=x_{n}\mid X_{n-1}=x_{n-1}).}$

Formulaciones alternativas

Alternativamente, la propiedad de Markov se puede formular de la siguiente manera.

${\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid \sigma (X_{s})]}$

para todos y acotado y mensurable. ^[4] ${\displaystyle t\geq s\geq 0}$ ${\displaystyle f:S\rightarrow \mathbb {R} }$

Fuerte propiedad de Markov

Supongamos que es un proceso estocástico en un espacio de probabilidad con filtración natural . Luego , para cualquier tiempo de parada , podemos definir ${\displaystyle X=(X_{t}:t\geq 0)}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}}$ ${\displaystyle \tau }$ ${\displaystyle \Omega }$

${\displaystyle {\mathcal {F}}_{\tau }=\{A\in {\mathcal {F}}:\forall t\geq 0,\{\tau \leq t\}\cap A\in {\mathcal {F}}_{t}\}}$.

Entonces se dice que tiene la propiedad fuerte de Markov si, para cada tiempo de parada , condicionado al evento , tenemos que para cada uno , es independiente del dado . ${\displaystyle X}$ ${\displaystyle \tau }$ ${\displaystyle \{\tau <\infty \}}$ ${\displaystyle t\geq 0}$ ${\displaystyle X_{\tau +t}}$ ${\displaystyle {\mathcal {F}}_{\tau }}$ ${\displaystyle X_{\tau }}$

La propiedad de Markov fuerte implica la propiedad de Markov ordinaria ya que al tomar el tiempo de parada , se puede deducir la propiedad de Markov ordinaria. ^[5] ${\displaystyle \tau =t}$

en la previsión

En los campos del modelado predictivo y el pronóstico probabilístico , la propiedad de Markov se considera deseable ya que puede permitir el razonamiento y la resolución de un problema que de otro modo no sería posible resolver debido a su intratabilidad . Este modelo se conoce como modelo de Markov .

Ejemplos

Supongamos que una urna contiene dos bolas rojas y una bola verde. Ayer se extrajo una bola, hoy se extrajo una bola y la última bola se sacará mañana. Todos los sorteos son "sin reposición".

Supongamos que sabes que la bola de hoy era roja, pero no tienes información sobre la bola de ayer. La probabilidad de que la bola de mañana sea roja es 1/2. Esto se debe a que los únicos dos resultados restantes de este experimento aleatorio son:

Por otro lado, si sabes que tanto las bolas de hoy como las de ayer eran rojas, entonces tienes garantizado que obtendrás una bola verde mañana.

Esta discrepancia muestra que la distribución de probabilidad del color de mañana depende no sólo del valor presente, sino que también se ve afectada por la información sobre el pasado. Este proceso estocástico de colores observados no tiene la propiedad de Markov. Usando el mismo experimento anterior, si el muestreo "sin reemplazo" se cambia al muestreo "con reemplazo", el proceso de colores observados tendrá la propiedad de Markov. ^[6]

Una aplicación de la propiedad de Markov en forma generalizada son los cálculos de Monte Carlo de la cadena de Markov en el contexto de la estadística bayesiana .

Ver también

• Condición causal de Markov
• Ecuación de Chapman-Kolmogorov
• Histéresis
• manta de markov
• cadena de markov
• proceso de decisión de markov
• modelo de markov

Referencias

1. Markov, AA (1954). Teoría de Algoritmos . [Traducido por Jacques J. Schorr-Kon y personal del PST] Pie de imprenta Moscú, Academia de Ciencias de la URSS, 1954 [Jerusalén, Programa de Traducciones Científicas de Israel, 1961; disponible en la Oficina de Servicios Técnicos, Departamento de Comercio de los Estados Unidos ] Agregado tp en ruso Traducción de obras del Instituto de Matemáticas, Academia de Ciencias de la URSS, v. 42. Título original: Teoriya algorifmov . [QA248.M2943 Biblioteca de Dartmouth College. Departamento de Comercio de EE. UU., Oficina de Servicios Técnicos, número OTS 60-51085.]
2. Esquivar, Yadolah . (2006) Diccionario Oxford de términos estadísticos , Oxford University Press . ISBN  0-19-850994-4
3. Durrett, Rick . Probabilidad: teoría y ejemplos . Cuarta edición. Prensa de la Universidad de Cambridge , 2010.
4. Øksendal, Bernt K. (2003). Ecuaciones diferenciales estocásticas: una introducción con aplicaciones . Springer, Berlín. ISBN 3-540-04758-1.
5. Ethier, Stewart N. y Kurtz, Thomas G. Procesos de Markov: caracterización y convergencia . Serie Wiley en probabilidad y estadística matemática, 1986, pág. 158.
6. "Ejemplo de un proceso estocástico que no tiene la propiedad de Markov". Intercambio de pila . Consultado el 7 de julio de 2020 .