Métodos de Montecarlo basados en cadenas de Markov

[3]​[4]​ En la estadística bayesiana, el reciente desarrollo de los métodos MCMC ha permitido calcular grandes modelos jerárquicos que requieren integraciones sobre cientos o miles de parámetros desconocidos.

Estas muestras pueden utilizarse para evaluar una integral sobre esa variable, como su valor esperado o su varianza.

Estas cadenas son procesos estocásticos de "caminantes" que se desplazan aleatoriamente según un algoritmo que busca lugares con una contribución razonablemente alta a la integral para desplazarse a continuación, asignándoles mayores probabilidades.

[16]​ Este procedimiento, conocido como método cuasi-Montecarlo (QMC),[17]​ produce un error de integración que decae a un ritmo superior al obtenido por el muestreo IID, por la desigualdad de Koksma-Hlawka.

estados en cualquier paso dado es una mejor aproximación a la verdadera distribución de la cadena que con el MCMC ordinario.

[19]​ Normalmente no es difícil construir una cadena de Markov con las propiedades deseadas.

El problema más difícil es determinar cuántos pasos son necesarios para converger a la distribución estacionaria dentro de un error aceptable.

[20]​ Una buena cadena tendrá una mezcla rápida: la distribución estacionaria se alcanza rápidamente partiendo de una posición arbitraria.

Un método empírico estándar para evaluar la convergencia consiste en ejecutar varias cadenas de Markov simuladas independientes y comprobar que la relación entre las varianzas entre cadenas y dentro de ellas para todos los parámetros muestreados es cercana a 1.

Estos métodos son fáciles de implementar y analizar, pero desgraciadamente el caminante puede tardar mucho tiempo en explorar todo el espacio.

A menudo, el caminante vuelve atrás y cubre el terreno ya cubierto.

En[22]​ encontramos una discusión de la teoría relacionada con la convergencia y la estacionariedad del algoritmo Metropolis-Hastings.