Propiedad de Markov

Propiedad sin memoria de un proceso estocástico

Una única realización del movimiento browniano tridimensional para tiempos 0 ≤ t ≤ 2. El movimiento browniano tiene la propiedad de Markov, ya que el desplazamiento de la partícula no depende de sus desplazamientos pasados.

En teoría de probabilidad y estadística , el término propiedad de Markov se refiere a la propiedad sin memoria de un proceso estocástico , lo que significa que su evolución futura es independiente de su historia. Recibe su nombre del matemático ruso Andrey Markov . ^[1] El término propiedad fuerte de Markov es similar a la propiedad de Markov, excepto que el significado de "presente" se define en términos de una variable aleatoria conocida como tiempo de detención .

El término "supuesto de Markov" se utiliza para describir un modelo en el que se supone que se cumple la propiedad de Markov, como un modelo de Markov oculto .

Un campo aleatorio de Markov extiende esta propiedad a dos o más dimensiones o a variables aleatorias definidas para una red interconectada de elementos. ^[2] Un ejemplo de un modelo para dicho campo es el modelo de Ising .

Un proceso estocástico de tiempo discreto que satisface la propiedad de Markov se conoce como cadena de Markov .

Introducción

Un proceso estocástico tiene la propiedad de Markov si la distribución de probabilidad condicional de los estados futuros del proceso (condicionada a los valores pasados ​​y presentes) depende únicamente del estado presente; es decir, dado el presente, el futuro no depende del pasado. Un proceso con esta propiedad se dice que es markoviano o markoviano y se conoce como proceso markoviano . Dos clases famosas de proceso markoviano son la cadena markoviana y el movimiento browniano .

Obsérvese que hay un punto sutil, que a menudo se pasa por alto y es muy importante y que a menudo se pasa por alto en la declaración en inglés simple de la definición. Es decir, que el espacio de estados del proceso es constante a lo largo del tiempo. La descripción condicional implica un "ancho de banda" fijo. Por ejemplo, sin esta restricción podríamos ampliar cualquier proceso a uno que incluya la historia completa desde una condición inicial dada y se convertiría en markoviano. Pero el espacio de estados tendría una dimensionalidad creciente con el tiempo y no cumple con la definición.

Historia

Definición

Sea un espacio de probabilidad con una filtración , para algún conjunto de índices ( totalmente ordenado ) ; y sea un espacio medible . Se dice que un proceso estocástico valuado adaptado a la filtración posee la propiedad de Markov si, para cada y cada con , ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle ({\mathcal {F}}_{s},\ s\in I)}$ ${\displaystyle I}$ ${\displaystyle (S,{\mathcal {S}})}$ ${\displaystyle (S,{\mathcal {S}})}$ ${\displaystyle X=\{X_{t}:\Omega \to S\}_{t\in I}}$ ${\displaystyle A\in {\mathcal {S}}}$ ${\displaystyle s,t\in I}$ ${\displaystyle s<t}$

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s}).}$^[3]

En el caso donde es un conjunto discreto con el álgebra sigma discreta y , esto se puede reformular de la siguiente manera: ${\displaystyle S}$ ${\displaystyle I=\mathbb {N} }$

${\displaystyle P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n},\dots ,X_{1}=x_{1})=P(X_{n+1}=x_{n+1}\mid X_{n}=x_{n}){\text{ for all }}n\in \mathbb {N} .}$

Formulaciones alternativas

Alternativamente, la propiedad de Markov se puede formular de la siguiente manera.

${\displaystyle \operatorname {E} [f(X_{t})\mid {\mathcal {F}}_{s}]=\operatorname {E} [f(X_{t})\mid \sigma (X_{s})]}$

para todos y acotado y medible. ^[4] ${\displaystyle t\geq s\geq 0}$ ${\displaystyle f:S\rightarrow \mathbb {R} }$

Propiedad fuerte de Markov

Supongamos que es un proceso estocástico en un espacio de probabilidad con filtración natural . Entonces, para cualquier tiempo de parada en , podemos definir ${\displaystyle X=(X_{t}:t\geq 0)}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle \{{\mathcal {F}}_{t}\}_{t\geq 0}}$ ${\displaystyle \tau }$ ${\displaystyle \Omega }$

${\displaystyle {\mathcal {F}}_{\tau }=\{A\in {\mathcal {F}}:\forall t\geq 0,\{\tau \leq t\}\cap A\in {\mathcal {F}}_{t}\}}$.

Entonces se dice que tiene la propiedad fuerte de Markov si, para cada tiempo de parada , condicional al evento , tenemos que para cada , es independiente del dado . ${\displaystyle X}$ ${\displaystyle \tau }$ ${\displaystyle \{\tau <\infty \}}$ ${\displaystyle t\geq 0}$ ${\displaystyle X_{\tau +t}}$ ${\displaystyle {\mathcal {F}}_{\tau }}$ ${\displaystyle X_{\tau }}$

La propiedad fuerte de Markov implica la propiedad ordinaria de Markov, ya que al tomar el tiempo de parada , se puede deducir la propiedad ordinaria de Markov. ^[5] ${\displaystyle \tau =t}$

En previsión

En los campos de modelado predictivo y pronóstico probabilístico , la propiedad de Markov se considera deseable ya que puede permitir el razonamiento y la resolución del problema que de otra manera no sería posible resolver debido a su intratabilidad . Un modelo de este tipo se conoce como modelo de Markov .

Ejemplos

Supongamos que una urna contiene dos bolas rojas y una bola verde. Una bola se extrajo ayer, otra se extrajo hoy y la última se extraerá mañana. Todas las extracciones son "sin reposición".

Supongamos que sabes que la bola de hoy era roja, pero no tienes información sobre la bola de ayer. La probabilidad de que la bola de mañana sea roja es 1/2. Esto se debe a que los únicos dos resultados restantes para este experimento aleatorio son:

Por otro lado, si sabes que las bolas de hoy y de ayer eran rojas, entonces tienes la garantía de obtener una bola verde mañana.

Esta discrepancia muestra que la distribución de probabilidad del color del mañana no sólo depende del valor presente, sino que también se ve afectada por la información sobre el pasado. Este proceso estocástico de los colores observados no tiene la propiedad de Markov. Utilizando el mismo experimento anterior, si el muestreo "sin reemplazo" se cambia a un muestreo "con reemplazo", el proceso de los colores observados tendrá la propiedad de Markov. ^[6]

Una aplicación de la propiedad de Markov en una forma generalizada se encuentra en los cálculos de Monte Carlo de cadenas de Markov en el contexto de las estadísticas bayesianas .

Véase también

• Condición causal de Markov
• Ecuación de Chapman-Kolmogorov
• Histéresis
• Manta de Markov
• Cadena de Markov
• Proceso de decisión de Markov
• Modelo de Markov

Referencias

1. Markov, AA (1954). Teoría de algoritmos . [Traducido por Jacques J. Schorr-Kon y el personal del PST] Pie de imprenta Moscú, Academia de Ciencias de la URSS, 1954 [Jerusalén, Israel, Programa de Traducciones Científicas, 1961; disponible en la Oficina de Servicios Técnicos, Departamento de Comercio de los Estados Unidos ] Se agregó tp en Traducción rusa de obras del Instituto de Matemáticas, Academia de Ciencias de la URSS, v. 42. Título original: Teoriya algorifmov . [QA248.M2943 Biblioteca del Dartmouth College. Departamento de Comercio de los Estados Unidos, Oficina de Servicios Técnicos, número OTS 60-51085.]
2. Dodge, Yadolah . (2006) Diccionario Oxford de términos estadísticos , Oxford University Press . ISBN  0-19-850994-4
3. Durrett, Rick . Probabilidad: teoría y ejemplos . Cuarta edición. Cambridge University Press , 2010.
4. Øksendal, Bernt K. (2003). Ecuaciones diferenciales estocásticas: una introducción con aplicaciones . Springer, Berlín. ISBN 3-540-04758-1.
5. Ethier, Stewart N. y Kurtz, Thomas G. Procesos de Markov: caracterización y convergencia . Serie Wiley en probabilidad y estadística matemática, 1986, pág. 158.
6. "Ejemplo de un proceso estocástico que no tiene la propiedad de Markov". Stack Exchange . Consultado el 7 de julio de 2020 .