Núcleo de Markov

Concepto en teoría de la probabilidad.

En teoría de la probabilidad , un núcleo de Markov (también conocido como núcleo estocástico o núcleo de probabilidad ) es un mapa que en la teoría general de los procesos de Markov desempeña el papel que hace la matriz de transición en la teoría de los procesos de Markov con un espacio de estados finito . ^[1]

Definicion formal

Dejar y ser espacios mensurables . Un kernel de Markov con origen y destino es un mapa con las siguientes propiedades: ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$

1. Para cada (fijo) , el mapa es - mensurable ${\displaystyle B_{0}\in {\mathcal {B}}}$ ${\displaystyle x\mapsto \kappa (B_{0},x)}$ ${\displaystyle {\mathcal {A}}}$
2. Para cada (fijo) , el mapa es una medida de probabilidad en ${\displaystyle x_{0}\in X}$ ${\displaystyle B\mapsto \kappa (B,x_{0})}$ ${\displaystyle (Y,{\mathcal {B}})}$

En otras palabras, asocia a cada punto una medida de probabilidad tal que, para cada conjunto medible , el mapa es medible con respecto al -álgebra . ^[2] ${\displaystyle x\in X}$ ${\displaystyle \kappa (dy|x):B\mapsto \kappa (B,x)}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle B\in {\mathcal {B}}}$ ${\displaystyle x\mapsto \kappa (B,x)}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {A}}}$

Ejemplos

Paseo aleatorio simple sobre números enteros

Tome , y (el conjunto potencia de ). Entonces, un núcleo de Markov está completamente determinado por la probabilidad que asigna a los singletons para cada uno : ${\displaystyle X=Y=\mathbb {Z} }$ ${\displaystyle {\mathcal {A}}={\mathcal {B}}={\mathcal {P}}(\mathbb {Z} )}$ ${\displaystyle \mathbb {Z} }$ ${\displaystyle \{m\},\,m\in Y=\mathbb {Z} }$ ${\displaystyle n\in X=\mathbb {Z} }$

${\displaystyle \kappa (B|n)=\sum _{m\in B}\kappa (\{m\}|n),\qquad \forall n\in \mathbb {Z} ,\,\forall B\in {\mathcal {B}}}$.

Ahora el paseo aleatorio que va hacia la derecha con probabilidad y hacia la izquierda con probabilidad está definido por ${\displaystyle \kappa }$ ${\displaystyle p}$ ${\displaystyle 1-p}$

${\displaystyle \kappa (\{m\}|n)=p\delta _{m,n+1}+(1-p)\delta _{m,n-1},\quad \forall n,m\in \mathbb {Z} }$

¿Dónde está el delta del Kronecker ? Las probabilidades de transición para el paseo aleatorio son equivalentes al núcleo de Markov. ${\displaystyle \delta }$ ${\displaystyle P(m|n)=\kappa (\{m\}|n)}$

Procesos generales de Markov con espacio de estados contables

De manera más general, tome y tanto contable como . Nuevamente, un núcleo de Markov se define por la probabilidad que asigna a conjuntos únicos para cada ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {A}}={\mathcal {P}}(X),\ {\mathcal {B}}={\mathcal {P}}(Y)}$ ${\displaystyle i\in X}$

${\displaystyle \kappa (B|i)=\sum _{j\in B}\kappa (\{j\}|i),\qquad \forall i\in X,\,\forall B\in {\mathcal {B}}}$,

Definimos un proceso de Markov definiendo una probabilidad de transición donde los números definen una matriz estocástica (contable) , es decir ${\displaystyle P(j|i)=K_{ji}}$ ${\displaystyle K_{ji}}$ ${\displaystyle (K_{ji})}$

${\displaystyle {\begin{aligned}K_{ji}&\geq 0,\qquad &\forall (j,i)\in Y\times X,\\\sum _{j\in Y}K_{ji}&=1,\qquad &\forall i\in X.\\\end{aligned}}}$

Luego definimos

${\displaystyle \kappa (\{j\}|i)=K_{ji}=P(j|i),\qquad \forall i\in X,\quad \forall B\in {\mathcal {B}}}$.

Nuevamente la probabilidad de transición, la matriz estocástica y el núcleo de Markov son reformulaciones equivalentes.

Núcleo de Markov definido por una función del núcleo y una medida

Sea una medida de y una función medible con respecto al producto -álgebra tal que ${\displaystyle \nu }$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle k:Y\times X\to [0,\infty ]}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {A}}\otimes {\mathcal {B}}}$

${\displaystyle \int _{Y}k(y,x)\nu (\mathrm {d} y)=1,\qquad \forall x\in X}$,

entonces es decir, el mapeo ${\displaystyle \kappa (dy|x)=k(y,x)\nu (dy)}$

${\displaystyle {\begin{cases}\kappa :{\mathcal {B}}\times X\to [0,1]\\\kappa (B|x)=\int _{B}k(y,x)\nu (\mathrm {d} y)\end{cases}}}$

define un núcleo de Markov. ^[3] Este ejemplo generaliza el ejemplo del proceso contable de Markov donde estaba la medida de conteo . Además, abarca otros ejemplos importantes, como los núcleos de convolución, en particular los núcleos de Markov definidos por la ecuación de calor. El último ejemplo incluye el núcleo gaussiano con la medida estándar de Lebesgue y ${\displaystyle \nu }$ ${\displaystyle X=Y=\mathbb {R} }$ ${\displaystyle \nu (dx)=dx}$

${\displaystyle k_{t}(y,x)={\frac {1}{{\sqrt {2\pi }}t}}e^{-(y-x)^{2}/(2t^{2})}}$.

Funciones medibles

Tome espacios arbitrarios y mensurables, y sea una función mensurable. Ahora define , es decir ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle f:X\to Y}$ ${\displaystyle \kappa (dy|x)=\delta _{f(x)}(dy)}$

${\displaystyle \kappa (B|x)=\mathbf {1} _{B}(f(x))=\mathbf {1} _{f^{-1}(B)}(x)={\begin{cases}1&{\text{if }}f(x)\in B\\0&{\text{otherwise}}\end{cases}}}$para todos . ${\displaystyle B\in {\mathcal {B}}}$

Tenga en cuenta que la función del indicador es medible para todos si y sólo si es medible. ${\displaystyle \mathbf {1} _{f^{-1}(B)}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle B\in {\mathcal {B}}}$ ${\displaystyle f}$

Este ejemplo nos permite pensar en un núcleo de Markov como una función generalizada con un valor (en general) aleatorio en lugar de cierto. Es decir, es una función multivaluada donde los valores no tienen el mismo peso.

Proceso Galton-Watson

Como ejemplo menos obvio, tomemos y los números reales con el álgebra sigma estándar de conjuntos de Borel . Entonces ${\displaystyle X=\mathbb {N} ,{\mathcal {A}}={\mathcal {P}}(\mathbb {N} )}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \mathbb {R} }$

${\displaystyle \kappa (B|n)={\begin{cases}\mathbf {1} _{B}(0)&n=0\\\Pr(\xi _{1}+\cdots +\xi _{x}\in B)&n\neq 0\\\end{cases}}}$

donde es el número de elemento en el estado , son variables aleatorias iid (generalmente con media 0) y donde está la función indicadora. Para el caso simple de lanzamiento de moneda, esto modela los diferentes niveles de un tablero de Galton . ${\displaystyle x}$ ${\displaystyle n}$ ${\displaystyle \xi _{i}}$ ${\displaystyle \mathbf {1} _{B}}$

Composición de los núcleos de Markov y la categoría de Markov

Dados espacios mensurables , consideramos un núcleo de Markov como un morfismo . Intuitivamente, en lugar de asignar a cada uno un punto claramente definido, el núcleo asigna un punto "borroso" que sólo se conoce con cierto nivel de incertidumbre, muy parecido a las mediciones físicas reales. Si tenemos un tercer espacio medible y núcleos de probabilidad y , podemos definir una composición por ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$ ${\displaystyle \kappa :X\to Y}$ ${\displaystyle x\in X}$ ${\displaystyle y\in Y}$ ${\displaystyle Y}$ ${\displaystyle (Z,{\mathcal {C}})}$ ${\displaystyle \kappa :X\to Y}$ ${\displaystyle \lambda :Y\to Z}$ ${\displaystyle \lambda \circ \kappa :X\to Z}$

${\displaystyle (\lambda \circ \kappa )(dz|x)=\int _{Y}\lambda (dz|y)\kappa (dy|x)}$.

La composición es asociativa según el teorema de convergencia monótona y la función de identidad considerada como un núcleo de Markov (es decir, la medida delta ) es la unidad para esta composición. ${\displaystyle \kappa _{1}(dx'|x)=\delta _{x}(dx')}$

Esta composición define la estructura de una categoría en los espacios medibles con núcleos de Markov como morfismos definidos por primera vez por Lawvere. ^[4] La categoría tiene el conjunto vacío como objeto inicial y el conjunto de un punto como objeto terminal. Desde este punto de vista, un espacio de probabilidad es lo mismo que un espacio puntiagudo en la categoría de Markov. ${\displaystyle *}$ ${\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )}$ ${\displaystyle *\to \Omega }$

Espacio de probabilidad definido por distribución de probabilidad y un núcleo de Markov

Una composición de un espacio de probabilidad y un núcleo de probabilidad define un espacio de probabilidad , donde la medida de probabilidad está dada por ${\displaystyle (X,{\mathcal {A}},P_{X})}$ ${\displaystyle \kappa :(X,{\mathcal {A}})\to (Y,{\mathcal {B}})}$ ${\displaystyle (Y,{\mathcal {B}},P_{Y}=\kappa \circ P_{X})}$

${\displaystyle P_{Y}(B)=\int _{X}\int _{B}\kappa (dy|x)P_{X}(dx)=\int _{X}\kappa (B|x)P_{X}(dx)=\mathbb {E} _{P_{X}}\kappa (B|\cdot ).}$

Propiedades

Producto semidirecto

Sean un espacio de probabilidad y un núcleo de Markov desde a algunos . Entonces existe una medida única en , tal que: ${\displaystyle (X,{\mathcal {A}},P)}$ ${\displaystyle \kappa }$ ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle Q}$ ${\displaystyle (X\times Y,{\mathcal {A}}\otimes {\mathcal {B}})}$

${\displaystyle Q(A\times B)=\int _{A}\kappa (B|x)\,P(dx),\quad \forall A\in {\mathcal {A}},\quad \forall B\in {\mathcal {B}}.}$

Distribución condicional regular

Sea un espacio de Borel , una variable aleatoria valorada en el espacio de medidas y una subálgebra . Entonces existe un núcleo de Markov desde hasta , tal que es una versión de la expectativa condicional para cada , es decir ${\displaystyle (S,Y)}$ ${\displaystyle X}$ ${\displaystyle (S,Y)}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$ ${\displaystyle \sigma }$ ${\displaystyle \kappa }$ ${\displaystyle (\Omega ,{\mathcal {G}})}$ ${\displaystyle (S,Y)}$ ${\displaystyle \kappa (\cdot ,B)}$ ${\displaystyle \mathbb {E} [\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}]}$ ${\displaystyle B\in Y}$

${\displaystyle P(X\in B\mid {\mathcal {G}})=\mathbb {E} \left[\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}\right]=\kappa (\cdot ,B),\qquad P{\text{-a.s.}}\,\,\forall B\in {\mathcal {G}}.}$

Se llama distribución condicional regular de datos dados y no está definida de forma única. ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$

Generalizaciones

Los núcleos de transición generalizan los núcleos de Markov en el sentido de que para todos , el mapa ${\displaystyle x\in X}$

${\displaystyle B\mapsto \kappa (B|x)}$

Puede ser cualquier tipo de medida (no negativa), no necesariamente una medida de probabilidad.

enlaces externos

• Núcleo de Markov en nLab.

Referencias

1. Reiss, RD (1993). Un curso sobre procesos puntuales . Serie Springer en Estadística. doi :10.1007/978-1-4613-9308-5. ISBN 978-1-4613-9310-8.
2. Klenke, Achim (2014). Teoría de la probabilidad: un curso completo . Universitext (2 ed.). Saltador. pag. 180. doi :10.1007/978-1-4471-5361-0. ISBN 978-1-4471-5360-3.
3. Erhan, Cinlar (2011). Probabilidad y Estocástica . Nueva York: Springer. págs. 37–38. ISBN 978-0-387-87858-4.
4. FW Lawvere (1962). "La categoría de mapeos probabilísticos" (PDF) .

• Bauer, Heinz (1996), Teoría de la probabilidad , de Gruyter, ISBN 3-11-013935-9

§36. Granos y semigrupos de granos.