Filtro auxiliar de partículas

El filtro de partículas auxiliar es un algoritmo de filtrado de partículas introducido por Pitt y Shephard en 1999 para mejorar algunas deficiencias del algoritmo de remuestreo de importancia secuencial (SIR) cuando se trata de densidades de observación con cola.

Motivación

Los filtros de partículas aproximan la variable aleatoria continua mediante partículas con masa de probabilidad discreta , por ejemplo, para una distribución uniforme. Las partículas muestreadas aleatoriamente se pueden utilizar para aproximar la función de densidad de probabilidad de la variable aleatoria continua si el valor . ${\displaystyle M}$ ${\displaystyle \pi _{t}}$ ${\displaystyle 1/M}$ ${\displaystyle M\rightarrow \infty }$

La densidad de predicción empírica se produce como la suma ponderada de estas partículas: ^[1]

${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t})=\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}}$, y podemos considerarla como la densidad "previa". Nótese que se supone que las partículas tienen el mismo peso . ${\displaystyle \pi _{t}^{j}={\frac {1}{M}}}$

Combinando la densidad previa y la probabilidad , la densidad de filtrado empírico se puede producir como: ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t})}$ ${\displaystyle f(y_{t+1}|\alpha _{t+1})}$

${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t+1})={\frac {f(y_{t+1}|\alpha _{t+1}){\widehat {f}}(\alpha _{t+1}|Y_{t})}{f(y_{t+1}|Y_{t})}}\propto f(y_{t+1}|\alpha _{t+1})\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}}$, dónde . ${\displaystyle f(y_{t+1}|Y_{t})=\int f(y_{t+1}|\alpha _{t+1})dF(\alpha _{t+1}|Y_{t})}$

Por otra parte, la verdadera densidad de filtrado que queremos estimar es

${\displaystyle f(\alpha _{t+1}|Y_{t+1})={\frac {f(y_{t+1}|\alpha _{t+1})f(\alpha _{t+1}|Y_{t})}{f(y_{t+1}|Y_{t})}}}$.

La densidad previa se puede utilizar para aproximar la densidad de filtrado real : ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t})}$ ${\displaystyle f(\alpha _{t+1}|Y_{t+1})}$

• Los filtros de partículas extraen muestras de la densidad anterior . Cada muestra se extrae con la misma probabilidad. ${\displaystyle R}$ ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t})}$
• Asigna a cada muestra los pesos . Los pesos representan la función de verosimilitud . ${\displaystyle \pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}},\omega _{j}=f(y|\alpha ^{j})}$ ${\displaystyle f(y_{t+1}|\alpha _{t+1})}$
• Si el número es , entonces las muestras convergen a la densidad de filtrado real deseada. ${\displaystyle R\rightarrow \infty }$
• Las partículas se remuestrean a partículas con el peso . ${\displaystyle R}$ ${\displaystyle M}$ ${\displaystyle \pi _{j}}$

Las debilidades de los filtros de partículas incluyen:

• Si el peso { } tiene una gran varianza, la cantidad de muestra debe ser lo suficientemente grande para que las muestras se aproximen a la densidad de filtrado empírico. En otras palabras, mientras el peso esté ampliamente distribuido, el método SIR será impreciso y la adaptación será difícil. ${\displaystyle \omega _{j}}$ ${\displaystyle R}$

Por lo tanto, se propone el filtro de partículas auxiliar para solucionar este problema.

Filtro auxiliar de partículas

Variable auxiliar

En comparación con la densidad de filtrado empírica que tiene , ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t+1})\propto f(y_{t+1}|\alpha _{t+1})\sum _{j=1}^{M}f(\alpha _{t+1}|\alpha _{t}^{j})\pi _{t}^{j}}$

Ahora definimos , donde . ${\displaystyle {\widehat {f}}(\alpha _{t+1},k|Y_{t+1})\propto f(y_{t+1}|\alpha _{t+1})f(\alpha _{t+1}|\alpha _{t}^{k})\pi ^{k}}$ ${\displaystyle k=1,...,M}$

Teniendo en cuenta que se forma mediante la suma de partículas, la variable auxiliar representa una partícula específica. Con la ayuda de , podemos formar un conjunto de muestras que tiene la distribución . Luego, extraemos de este conjunto de muestras en lugar de hacerlo directamente de . En otras palabras, las muestras se extraen de con diferente probabilidad. Las muestras se utilizan en última instancia para aproximar . ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t+1})}$ ${\displaystyle M}$ ${\displaystyle k}$ ${\displaystyle k}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t+1})}$ ${\displaystyle {\widehat {f}}(\alpha _{t+1}|Y_{t+1})}$ ${\displaystyle f(\alpha _{t+1}|Y_{t+1})}$

Tomemos como ejemplo el método SIR:

• Los filtros de partículas extraen muestras de . ${\displaystyle R}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$
• Asigna a cada muestra el peso . ${\displaystyle \pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}},\omega _{j}={\frac {f(y_{t+1}|\alpha _{t+1}^{j})f(\alpha _{t+1}^{j}|\alpha _{t}^{k})}{g(\alpha _{t+1}^{j},k^{j}|Y_{t+1})}}}$
• Al controlar y , los pesos se ajustan para que sean uniformes. ${\displaystyle y_{t+1}}$ ${\displaystyle \alpha _{t}^{k}}$
• De manera similar, las partículas se remuestrean a partículas con el peso . ${\displaystyle R}$ ${\displaystyle M}$ ${\displaystyle \pi _{j}}$

Los filtros de partículas originales extraen muestras de la densidad anterior, mientras que los filtros auxiliares extraen muestras de la distribución conjunta de la densidad anterior y la probabilidad. En otras palabras, los filtros de partículas auxiliares evitan la circunstancia de que las partículas se generen en las regiones con baja probabilidad. Como resultado, las muestras pueden aproximarse con mayor precisión. ${\displaystyle f(\alpha _{t+1}|Y_{t+1})}$

Selección de la variable auxiliar

La selección de la variable auxiliar afecta y controla la distribución de las muestras. Una posible selección de puede ser: , donde y es la media. ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$
${\displaystyle g(\alpha _{t+1},k|Y_{t+1})\propto f(y_{t+1}|\mu _{t+1}^{k})f(\alpha _{t+1}|\alpha _{t}^{k})\pi ^{k}}$ ${\displaystyle k=1,...,M}$ ${\displaystyle \mu _{t+1}^{k}}$

Tomamos una muestra para aproximarnos mediante el siguiente procedimiento: ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle f(\alpha _{t+1}|Y_{t+1})}$

• En primer lugar, asignamos probabilidades a los índices de . Llamamos a estas probabilidades pesos de primera etapa , que son proporcionales a . ${\displaystyle f(\alpha _{t+1}|\alpha _{t}^{k})}$ ${\displaystyle \lambda _{k}}$ ${\displaystyle g(k|Y_{t+1})\propto \pi ^{k}f(y_{t+1}|\mu _{t+1}^{k})}$
• Luego, extraemos muestras de con los índices ponderados. Al hacerlo, en realidad extraemos las muestras de . ${\displaystyle R}$ ${\displaystyle f(\alpha _{t+1}|\alpha _{t}^{k})}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$
• Además, reasignamos los pesos de la segunda etapa como las probabilidades de las muestras, donde . Los pesos tienen como objetivo compensar el efecto de . ${\displaystyle \pi _{j}={\frac {\omega _{j}}{\sum _{i=1}^{R}\omega _{i}}}}$ ${\displaystyle R}$ ${\displaystyle \omega _{j}={\frac {f(y_{t+1}|\alpha _{t+1}^{j})}{f(y_{t+1}|\mu _{t+1}^{j})}}}$ ${\displaystyle \mu _{t+1}^{k}}$

• Finalmente, las partículas se remuestrean a partículas con pesos . ${\displaystyle R}$ ${\displaystyle M}$ ${\displaystyle \pi _{j}}$

Siguiendo el procedimiento, extraemos las muestras de . Dado que está estrechamente relacionado con la media , tiene una alta verosimilitud condicional. Como resultado, el procedimiento de muestreo es más eficiente y se puede reducir el valor. ${\displaystyle R}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle g(\alpha _{t+1},k|Y_{t+1})}$ ${\displaystyle \mu _{t+1}^{k}}$ ${\displaystyle R}$

Otro punto de vista

Supongamos que la posterior filtrada se describe mediante las siguientes M muestras ponderadas:

${\displaystyle p(x_{t}|z_{1:t})\approx \sum _{i=1}^{M}\omega _{t}^{(i)}\delta \left(x_{t}-x_{t}^{(i)}\right).}$

Luego, cada paso del algoritmo consiste en extraer primero una muestra del índice de partículas que se propagará desde el nuevo paso . Estos índices son variables auxiliares que se utilizan solo como paso intermedio, de ahí el nombre del algoritmo. Los índices se extraen de acuerdo con la probabilidad de algún punto de referencia que de alguna manera está relacionado con el modelo de transición (por ejemplo, la media, una muestra, etc.): ${\displaystyle k}$ ${\displaystyle t-1}$ ${\displaystyle t}$ ${\displaystyle \mu _{t}^{(i)}}$ ${\displaystyle x_{t}|x_{t-1}}$

${\displaystyle k^{(i)}\sim P(i=k|z_{t})\propto \omega _{t}^{(i)}p(z_{t}|\mu _{t}^{(i)})}$

Esto se repite para , y usando estos índices ahora podemos extraer las muestras condicionales: ${\displaystyle i=1,2,\dots ,M}$

${\displaystyle x_{t}^{(i)}\sim p(x|x_{t-1}^{k^{(i)}}).}$

Finalmente, los pesos se actualizan para tener en cuenta el desajuste entre la probabilidad en la muestra real y el punto previsto : ${\displaystyle \mu _{t}^{k^{(i)}}}$

${\displaystyle \omega _{t}^{(i)}\propto {\frac {p(z_{t}|x_{t}^{(i)})}{p(z_{t}|\mu _{t}^{k^{(i)}})}}.}$

Referencias

1. Pitt, Michael K.; Shephard, Neil. "Filtrado mediante simulación: filtros de partículas auxiliares" (PDF) . Revista de la Asociación Estadounidense de Estadística .

Fuentes

• Pitt, MK; Shephard, N. (1999). "Filtrado por simulación: filtros de partículas auxiliares". Journal of the American Statistical Association . 94 (446). Asociación Estadounidense de Estadística: 590–591. doi :10.2307/2670179. JSTOR  2670179. Archivado desde el original el 2007-10-16 . Consultado el 2008-05-06 .