probabilidad marginal

En la teoría de la probabilidad bayesiana

Una verosimilitud marginal es una función de verosimilitud que se ha integrado en el espacio de parámetros . En estadística bayesiana , representa la probabilidad de generar la muestra observada para todos los valores posibles de los parámetros; puede entenderse como la probabilidad del modelo en sí y, por lo tanto, a menudo se le denomina evidencia del modelo o simplemente evidencia .

Debido a la integración en el espacio de parámetros, la probabilidad marginal no depende directamente de los parámetros. Si la atención no se centra en la comparación de modelos, la probabilidad marginal es simplemente la constante de normalización que garantiza que la probabilidad posterior sea adecuada. Está relacionado con la función de partición en la mecánica estadística . ^[1]

Concepto

Dado un conjunto de puntos de datos independientes distribuidos idénticamente donde, según alguna distribución de probabilidad parametrizada por , donde en sí misma es una variable aleatoria descrita por una distribución, es decir, la probabilidad marginal en general pregunta cuál es la probabilidad, donde ha sido marginada (integrada) : ${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n}),}$ ${\displaystyle x_{i}\sim p(x|\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle \theta \sim p(\theta \mid \alpha ),}$ ${\displaystyle p(\mathbf {X} \mid \alpha )}$ ${\displaystyle \theta }$

${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta }$

La definición anterior está redactada en el contexto de la estadística bayesiana, en cuyo caso se denomina densidad previa y es la probabilidad. La verosimilitud marginal cuantifica la concordancia entre datos y datos previos en un sentido geométrico preciso ^{[ ¿cómo? ]} en de Carvalho et al. (2019). En la estadística clásica ( frecuentista ), el concepto de probabilidad marginal ocurre en el contexto de un parámetro conjunto , donde es el parámetro real de interés y es un parámetro molesto no interesante . Si existe una distribución de probabilidad para ^{[ dudoso ]} , a menudo es deseable considerar la función de probabilidad sólo en términos de , marginando : ${\displaystyle p(\theta \mid \alpha )}$ ${\displaystyle p(\mathbf {X} \mid \theta )}$ ${\displaystyle \theta =(\psi ,\lambda )}$ ${\displaystyle \psi }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \psi }$ ${\displaystyle \lambda }$

${\displaystyle {\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }$

Lamentablemente, las probabilidades marginales suelen ser difíciles de calcular. Se conocen soluciones exactas para una pequeña clase de distribuciones, particularmente cuando el parámetro marginado es el conjugado anterior de la distribución de los datos. En otros casos, se necesita algún tipo de método de integración numérica , ya sea un método general como la integración gaussiana o un método de Monte Carlo , o un método especializado en problemas estadísticos como la aproximación de Laplace , el muestreo de Gibbs / Metropolis o el algoritmo EM .

También es posible aplicar las consideraciones anteriores a una única variable aleatoria (punto de datos) , en lugar de a un conjunto de observaciones. En un contexto bayesiano, esto equivale a la distribución predictiva previa de un punto de datos. ${\displaystyle x}$

Aplicaciones

Comparación de modelos bayesianos

En la comparación de modelos bayesianos , las variables marginadas son parámetros para un tipo particular de modelo y la variable restante es la identidad del modelo mismo. En este caso, la probabilidad marginalizada es la probabilidad de que los datos tengan el tipo de modelo dado, sin asumir ningún parámetro de modelo en particular. Escribiendo para los parámetros del modelo, la probabilidad marginal para el modelo M es ${\displaystyle \theta }$ ${\displaystyle M}$ ${\displaystyle \theta }$

${\displaystyle p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta }$

Es en este contexto donde normalmente se utiliza el término evidencia modelo . Esta cantidad es importante porque el odds ratio posterior para un modelo M ₁ frente a otro modelo M ₂ implica un ratio de probabilidades marginales, llamado factor de Bayes :

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}$

que se puede expresar esquemáticamente como

probabilidades posteriores = probabilidades anteriores × factor Bayes

Ver también

• Métodos empíricos de Bayes
• La paradoja de Lindley
• Probabilidad marginal
• Criterio de información bayesiano

Referencias

1. Šmídl, Václav; Quinn, Antonio (2006). "Teoría bayesiana". El método variacional de Bayes en el procesamiento de señales . Saltador. págs. 13-23. doi :10.1007/3-540-28820-1_2.

Otras lecturas

• Charles S. Bos. "Una comparación de métodos de cálculo de probabilidad marginal". En W. Härdle y B. Ronz, editores, COMPSTAT 2002: Proceedings in Computational Statistics , págs. 2002. (Disponible como preimpresión en SSRN  332860)
• de Carvalho, Miguel; Página, Garritt; Barney, Bradley (2019). "Sobre la geometría de la inferencia bayesiana". Análisis bayesiano . 14 (4): 1013-1036. (Disponible como preimpresión en la web: [1])
• Lambert, Ben (2018). "El diablo está en el denominador". Una guía para estudiantes sobre estadística bayesiana . Sabio. págs. 109-120. ISBN 978-1-4739-1636-4.
• El libro de texto en línea: Teoría de la información, inferencia y algoritmos de aprendizaje, de David JC MacKay .