Núcleo de Markov

Concepto en la teoría de la probabilidad

En teoría de probabilidad , un núcleo de Markov (también conocido como núcleo estocástico o núcleo de probabilidad ) es un mapa que en la teoría general de procesos de Markov desempeña el papel que desempeña la matriz de transición en la teoría de procesos de Markov con un espacio de estados finito . ^[1]

Definición formal

Sean y espacios medibles . Un núcleo de Markov con origen y destino , a veces escrito como , es una función con las siguientes propiedades: ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \kappa :(X,{\mathcal {A}})\to (Y,{\mathcal {B}})}$ ${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$

1. Para cada (fijo) , el mapa es - medible ${\displaystyle B_{0}\in {\mathcal {B}}}$ ${\displaystyle x\mapsto \kappa (B_{0},x)}$ ${\displaystyle {\mathcal {A}}}$
2. Para cada (fijo) , el mapa es una medida de probabilidad en ${\displaystyle x_{0}\in X}$ ${\displaystyle B\mapsto \kappa (B,x_{0})}$ ${\displaystyle (Y,{\mathcal {B}})}$

En otras palabras, asocia a cada punto una medida de probabilidad en tal que, para cada conjunto medible , la función es medible con respecto al -álgebra . ^[2] ${\displaystyle x\in X}$ ${\displaystyle \kappa (dy|x):B\mapsto \kappa (B,x)}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle B\in {\mathcal {B}}}$ ${\displaystyle x\mapsto \kappa (B,x)}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {A}}}$

Ejemplos

Paseo aleatorio simplesobre los números enteros

Tome , y (el conjunto potencia de ). Entonces, un núcleo de Markov está completamente determinado por la probabilidad que asigna a los singletons para cada : ${\displaystyle X=Y=\mathbb {Z} }$ ${\displaystyle {\mathcal {A}}={\mathcal {B}}={\mathcal {P}}(\mathbb {Z} )}$ ${\displaystyle \mathbb {Z} }$ ${\displaystyle \{m\},\,m\in Y=\mathbb {Z} }$ ${\displaystyle n\in X=\mathbb {Z} }$

${\displaystyle \kappa (B|n)=\sum _{m\in B}\kappa (\{m\}|n),\qquad \forall n\in \mathbb {Z} ,\,\forall B\in {\mathcal {B}}}$.

Ahora bien, el paseo aleatorio que va hacia la derecha con probabilidad y hacia la izquierda con probabilidad se define por ${\displaystyle \kappa }$ ${\displaystyle p}$ ${\displaystyle 1-p}$

${\displaystyle \kappa (\{m\}|n)=p\delta _{m,n+1}+(1-p)\delta _{m,n-1},\quad \forall n,m\in \mathbb {Z} }$

donde es el delta de Kronecker . Las probabilidades de transición para el paseo aleatorio son equivalentes al núcleo de Markov. ${\displaystyle \delta }$ ${\displaystyle P(m|n)=\kappa (\{m\}|n)}$

GeneralProcesos de Markovcon espacio de estados contables

En términos más generales, tomemos tanto contables como . Nuevamente, un núcleo de Markov se define por la probabilidad que asigna a los conjuntos singleton para cada ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle {\mathcal {A}}={\mathcal {P}}(X),\ {\mathcal {B}}={\mathcal {P}}(Y)}$ ${\displaystyle i\in X}$

${\displaystyle \kappa (B|i)=\sum _{j\in B}\kappa (\{j\}|i),\qquad \forall i\in X,\,\forall B\in {\mathcal {B}}}$,

Definimos un proceso de Markov definiendo una probabilidad de transición donde los números definen una matriz estocástica (contable), es decir ${\displaystyle P(j|i)=K_{ji}}$ ${\displaystyle K_{ji}}$ ${\displaystyle (K_{ji})}$

${\displaystyle {\begin{aligned}K_{ji}&\geq 0,\qquad &\forall (j,i)\in Y\times X,\\\sum _{j\in Y}K_{ji}&=1,\qquad &\forall i\in X.\\\end{aligned}}}$

Luego definimos

${\displaystyle \kappa (\{j\}|i)=K_{ji}=P(j|i),\qquad \forall i\in X,\quad \forall B\in {\mathcal {B}}}$.

Nuevamente la probabilidad de transición, la matriz estocástica y el kernel de Markov son reformulaciones equivalentes.

Núcleo de Markov definido por una función de núcleo y una medida

Sea una medida en , y una función medible con respecto al producto -álgebra tal que ${\displaystyle \nu }$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle k:Y\times X\to [0,\infty ]}$ ${\displaystyle \sigma }$ ${\displaystyle {\mathcal {A}}\otimes {\mathcal {B}}}$

${\displaystyle \int _{Y}k(y,x)\nu (\mathrm {d} y)=1,\qquad \forall x\in X}$,

entonces es decir el mapeo ${\displaystyle \kappa (dy|x)=k(y,x)\nu (dy)}$

${\displaystyle {\begin{cases}\kappa :{\mathcal {B}}\times X\to [0,1]\\\kappa (B|x)=\int _{B}k(y,x)\nu (\mathrm {d} y)\end{cases}}}$

define un núcleo de Markov. ^[3] Este ejemplo generaliza el ejemplo del proceso contable de Markov donde era la medida de conteo . Además, abarca otros ejemplos importantes como los núcleos de convolución, en particular los núcleos de Markov definidos por la ecuación del calor. El último ejemplo incluye el núcleo gaussiano con la medida de Lebesgue estándar y ${\displaystyle \nu }$ ${\displaystyle X=Y=\mathbb {R} }$ ${\displaystyle \nu (dx)=dx}$

${\displaystyle k_{t}(y,x)={\frac {1}{{\sqrt {2\pi }}t}}e^{-(y-x)^{2}/(2t^{2})}}$.

Funciones mensurables

Tome espacios medibles arbitrarios y sea una función medible. Ahora defina ie ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle f:X\to Y}$ ${\displaystyle \kappa (dy|x)=\delta _{f(x)}(dy)}$

${\displaystyle \kappa (B|x)=\mathbf {1} _{B}(f(x))=\mathbf {1} _{f^{-1}(B)}(x)={\begin{cases}1&{\text{if }}f(x)\in B\\0&{\text{otherwise}}\end{cases}}}$Para todos . ${\displaystyle B\in {\mathcal {B}}}$

Tenga en cuenta que la función del indicador es medible para todos si y solo si es medible. ${\displaystyle \mathbf {1} _{f^{-1}(B)}}$ ${\displaystyle {\mathcal {A}}}$ ${\displaystyle B\in {\mathcal {B}}}$ ${\displaystyle f}$

Este ejemplo nos permite pensar en un núcleo de Markov como una función generalizada con un valor (en general) aleatorio en lugar de seguro. Es decir, es una función multivaluada en la que los valores no tienen la misma ponderación.

Proceso de Galton-Watson

Como ejemplo menos obvio, tomemos , y los números reales con el álgebra sigma estándar de conjuntos de Borel . Entonces ${\displaystyle X=\mathbb {N} ,{\mathcal {A}}={\mathcal {P}}(\mathbb {N} )}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \mathbb {R} }$

${\displaystyle \kappa (B|n)={\begin{cases}\mathbf {1} _{B}(0)&n=0\\\Pr(\xi _{1}+\cdots +\xi _{x}\in B)&n\neq 0\\\end{cases}}}$

donde es el número de elementos en el estado , son variables aleatorias iid (generalmente con media 0) y donde es la función indicadora. Para el caso simple de lanzamientos de monedas, esto modela los diferentes niveles de un tablero de Galton . ${\displaystyle x}$ ${\displaystyle n}$ ${\displaystyle \xi _{i}}$ ${\displaystyle \mathbf {1} _{B}}$

Composición de los núcleos de Markov

Dados espacios mensurables , consideramos un núcleo de Markov como un morfismo . Intuitivamente, en lugar de asignar a cada uno un punto claramente definido, el núcleo asigna un punto "difuso" en el que sólo se conoce con cierto nivel de incertidumbre, de forma muy similar a las mediciones físicas reales. Si tenemos un tercer espacio mensurable y núcleos de probabilidad y , podemos definir una composición mediante la ecuación de Chapman-Kolmogorov ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle \kappa :{\mathcal {B}}\times X\to [0,1]}$ ${\displaystyle \kappa :X\to Y}$ ${\displaystyle x\in X}$ ${\displaystyle y\in Y}$ ${\displaystyle Y}$ ${\displaystyle (Z,{\mathcal {C}})}$ ${\displaystyle \kappa :X\to Y}$ ${\displaystyle \lambda :Y\to Z}$ ${\displaystyle \lambda \circ \kappa :X\to Z}$

${\displaystyle (\lambda \circ \kappa )(dz|x)=\int _{Y}\lambda (dz|y)\kappa (dy|x)}$.

La composición es asociativa por el Teorema de Convergencia Monótona y la función identidad considerada como un núcleo de Markov (es decir, la medida delta ) es la unidad para esta composición. ${\displaystyle \kappa _{1}(dx'|x)=\delta _{x}(dx')}$

Esta composición define la estructura de una categoría en los espacios medibles con núcleos de Markov como morfismos, definidos por primera vez por Lawvere, ^[4] la categoría de núcleos de Markov .

Espacio de probabilidad definido por una distribución de probabilidad y un núcleo de Markov

Una composición de un espacio de probabilidad y un núcleo de probabilidad define un espacio de probabilidad , donde la medida de probabilidad está dada por ${\displaystyle (X,{\mathcal {A}},P_{X})}$ ${\displaystyle \kappa :(X,{\mathcal {A}})\to (Y,{\mathcal {B}})}$ ${\displaystyle (Y,{\mathcal {B}},P_{Y}=\kappa \circ P_{X})}$

${\displaystyle P_{Y}(B)=\int _{X}\int _{B}\kappa (dy|x)P_{X}(dx)=\int _{X}\kappa (B|x)P_{X}(dx)=\mathbb {E} _{P_{X}}\kappa (B|\cdot ).}$

Propiedades

Producto semidirecto

Sea un espacio de probabilidad y un núcleo de Markov de a algún . Entonces existe una medida única en , tal que: ${\displaystyle (X,{\mathcal {A}},P)}$ ${\displaystyle \kappa }$ ${\displaystyle (X,{\mathcal {A}})}$ ${\displaystyle (Y,{\mathcal {B}})}$ ${\displaystyle Q}$ ${\displaystyle (X\times Y,{\mathcal {A}}\otimes {\mathcal {B}})}$

${\displaystyle Q(A\times B)=\int _{A}\kappa (B|x)\,P(dx),\quad \forall A\in {\mathcal {A}},\quad \forall B\in {\mathcal {B}}.}$

Distribución condicional regular

Sea un espacio de Borel , una variable aleatoria valuada en el espacio de medida y una subálgebra . Entonces existe un núcleo de Markov de a , tal que es una versión de la esperanza condicional para cada , es decir ${\displaystyle (S,Y)}$ ${\displaystyle X}$ ${\displaystyle (S,Y)}$ ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ ${\displaystyle {\mathcal {G}}\subseteq {\mathcal {F}}}$ ${\displaystyle \sigma }$ ${\displaystyle \kappa }$ ${\displaystyle (\Omega ,{\mathcal {G}})}$ ${\displaystyle (S,Y)}$ ${\displaystyle \kappa (\cdot ,B)}$ ${\displaystyle \mathbb {E} [\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}]}$ ${\displaystyle B\in Y}$

${\displaystyle P(X\in B\mid {\mathcal {G}})=\mathbb {E} \left[\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}\right]=\kappa (\cdot ,B),\qquad P{\text{-a.s.}}\,\,\forall B\in {\mathcal {G}}.}$

Se llama distribución condicional regular de datos y no está definida de forma única. ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$

Generalizaciones

Los núcleos de transición generalizan los núcleos de Markov en el sentido de que para todos , el mapa ${\displaystyle x\in X}$

${\displaystyle B\mapsto \kappa (B|x)}$

Puede ser cualquier tipo de medida (no negativa), no necesariamente una medida de probabilidad.

Enlaces externos

• Núcleo de Markov en nLab.

Referencias

1. Reiss, RD (1993). Un curso sobre procesos puntuales . Springer Series in Statistics. doi :10.1007/978-1-4613-9308-5. ISBN 978-1-4613-9310-8.
2. Klenke, Achim (2014). Teoría de la probabilidad: un curso completo . Universitext (2.ª ed.). Springer. pág. 180. doi :10.1007/978-1-4471-5361-0. ISBN 978-1-4471-5360-3.
3. Erhan, Cinlar (2011). Probabilidad y estocástica . Nueva York: Springer. pp. 37–38. ISBN 978-0-387-87858-4.
4. FW Lawvere (1962). "La categoría de aplicaciones probabilísticas" (PDF) .

• Bauer, Heinz (1996), Teoría de la probabilidad , de Gruyter, ISBN 3-11-013935-9

§36. Núcleos y semigrupos de núcleos

Véase también

• Categoría de núcleos de Markov