Factor de Bayes

Factor estadístico utilizado para comparar hipótesis en competencia

El factor de Bayes es una relación de dos modelos estadísticos en competencia representados por su evidencia , y se utiliza para cuantificar el apoyo de un modelo sobre el otro. ^[1] Los modelos en cuestión pueden tener un conjunto común de parámetros, como una hipótesis nula y una alternativa, pero esto no es necesario; por ejemplo, también podría ser un modelo no lineal en comparación con su aproximación lineal . El factor de Bayes puede considerarse como un análogo bayesiano de la prueba de razón de verosimilitud , aunque utiliza la verosimilitud integrada (es decir, marginal) en lugar de la verosimilitud maximizada. Como tal, ambas cantidades solo coinciden bajo hipótesis simples (por ejemplo, dos valores de parámetros específicos). ^[2] Además, en contraste con la prueba de significancia de la hipótesis nula , los factores de Bayes respaldan la evaluación de la evidencia a favor de una hipótesis nula, en lugar de solo permitir que la nula sea rechazada o no. ^[3]

Aunque conceptualmente simple, el cálculo del factor de Bayes puede ser un desafío dependiendo de la complejidad del modelo y las hipótesis. ^[4] Dado que las expresiones de forma cerrada de la probabilidad marginal generalmente no están disponibles, se han sugerido aproximaciones numéricas basadas en muestras MCMC . ^[5] Para ciertos casos especiales, se pueden derivar expresiones algebraicas simplificadas; por ejemplo, la razón de densidad de Savage-Dickey en el caso de una hipótesis precisa (con restricciones de igualdad) contra una alternativa sin restricciones. ^{[6] [7]} Otra aproximación, derivada de la aplicación de la aproximación de Laplace a las probabilidades integradas, se conoce como el criterio de información bayesiano (BIC); ^[8] en grandes conjuntos de datos, el factor de Bayes se acercará al BIC a medida que la influencia de los valores anteriores disminuya. En conjuntos de datos pequeños, los valores anteriores generalmente importan y no deben ser impropios ya que el factor de Bayes no estará definido si cualquiera de las dos integrales en su razón no es finita.

Definición

El factor de Bayes es la relación de dos probabilidades marginales, es decir, las probabilidades de dos modelos estadísticos integrados sobre las probabilidades previas de sus parámetros. ^[9]

La probabilidad posterior de un modelo M dados los datos D viene dada por el teorema de Bayes : ${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

El término clave dependiente de los datos representa la probabilidad de que se produzcan algunos datos bajo el supuesto del modelo M ; evaluarlo correctamente es la clave para la comparación de modelos bayesianos. ${\displaystyle \Pr(D|M)}$

Dado un problema de selección de modelos en el que se desea elegir entre dos modelos sobre la base de datos observados D , la plausibilidad de los dos modelos diferentes M ₁ y M ₂ , parametrizados por los vectores de parámetros del modelo y , se evalúa mediante el factor de Bayes K dado por ${\displaystyle \theta _{1}}$ ${\displaystyle \theta _{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Cuando los dos modelos tienen la misma probabilidad previa, de modo que , el factor de Bayes es igual a la relación de las probabilidades posteriores de M ₁ y M ₂ . Si en lugar de la integral del factor de Bayes, se utiliza la probabilidad correspondiente a la estimación de máxima probabilidad del parámetro para cada modelo estadístico, entonces la prueba se convierte en una prueba de razón de verosimilitud clásica . A diferencia de una prueba de razón de verosimilitud, esta comparación de modelos bayesianos no depende de ningún conjunto único de parámetros, ya que integra todos los parámetros en cada modelo (con respecto a las probabilidades previas respectivas). Una ventaja del uso de factores de Bayes es que automáticamente, y de manera bastante natural, incluye una penalización por incluir demasiada estructura del modelo. ^[10] Por lo tanto, protege contra el sobreajuste . Para los modelos donde no está disponible una versión explícita de la probabilidad o es demasiado costosa de evaluar numéricamente, se puede utilizar el cálculo bayesiano aproximado para la selección del modelo en un marco bayesiano, ^[11] con la salvedad de que las estimaciones bayesianas aproximadas de los factores de Bayes a menudo están sesgadas. ^[12] ${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

Otros enfoques son:

• tratar la comparación de modelos como un problema de decisión , calculando el valor esperado o el coste de cada elección de modelo;
• utilizar la longitud mínima del mensaje (MML).
• utilizar longitud mínima de descripción (MDL).

Interpretación

Un valor de K > 1 significa que M ₁ está más fuertemente respaldado por los datos bajo consideración que M ₂ . Nótese que la prueba de hipótesis clásica le da a una hipótesis (o modelo) el estatus preferente (la "hipótesis nula"), y solo considera evidencia en su contra . El hecho de que un factor de Bayes pueda producir evidencia a favor y no solo en contra de una hipótesis nula es una de las ventajas clave de este método de análisis. ^[13]

Harold Jeffreys proporcionó una escala ( escala de Jeffreys ) para la interpretación de : ^[14] ${\displaystyle K}$

La segunda columna muestra los pesos de evidencia correspondientes en decihartleys (también conocidos como decibans ); se agregan bits en la tercera columna para mayor claridad. La tabla continúa en la otra dirección, de modo que, por ejemplo, es evidencia decisiva para . ${\displaystyle K\leq 10^{-2}}$ ${\displaystyle M_{2}}$

Kass y Raftery (1995) ofrecen una tabla alternativa, ampliamente citada: ^[10]

Según IJ Good , la diferencia apenas perceptible de los humanos en su vida cotidiana, cuando se trata de un cambio en el grado de creencia en una hipótesis, es de aproximadamente un factor de 1,3x, o 1 deciban, o 1/3 de un bit, o de 1:1 a 5:4 en razón de probabilidades. ^[15]

Ejemplo

Supongamos que tenemos una variable aleatoria que produce un éxito o un fracaso. Queremos comparar un modelo M ₁ donde la probabilidad de éxito es q = 1 ⁄ 2 , y otro modelo M ₂ donde q es desconocido y tomamos una distribución previa para q que es uniforme en [0,1]. Tomamos una muestra de 200 y encontramos 115 éxitos y 85 fracasos. La probabilidad se puede calcular de acuerdo con la distribución binomial :

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Así que tenemos para M ₁

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

mientras que para M ₂ tenemos

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

La relación es entonces 1,2, lo cual "apenas vale la pena mencionar", aunque apunta muy ligeramente hacia M ₁ .

Una prueba de hipótesis frecuentista de M ₁ (considerada aquí como una hipótesis nula ) habría producido un resultado muy diferente. Tal prueba dice que M ₁ debe rechazarse en el nivel de significación del 5%, ya que la probabilidad de obtener 115 o más éxitos de una muestra de 200 si q = 1 ⁄ 2 es 0,02, y como una prueba de dos colas de obtener una cifra tan extrema como o más extrema que 115 es 0,04. Tenga en cuenta que 115 está a más de dos desviaciones estándar de 100. Por lo tanto, mientras que una prueba de hipótesis frecuentista produciría resultados significativos en el nivel de significación del 5%, el factor de Bayes difícilmente considera que este sea un resultado extremo. Tenga en cuenta, sin embargo, que una previa no uniforme (por ejemplo, una que refleje el hecho de que espera que el número de éxitos y fracasos sea del mismo orden de magnitud) podría dar como resultado un factor de Bayes que esté más de acuerdo con la prueba de hipótesis frecuentista.

Una prueba clásica de razón de verosimilitud habría encontrado la estimación de máxima verosimilitud para q , es decir , de donde ${\displaystyle {\hat {q}}={\frac {115}{200}}=0.575}$

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

(en lugar de promediar todos los q posibles ). Esto da una razón de verosimilitud de 0,1 y apunta hacia M ₂ .

M ₂ es un modelo más complejo que M ₁ porque tiene un parámetro libre que le permite modelar los datos con mayor precisión. La capacidad de los factores de Bayes para tener esto en cuenta es una razón por la que la inferencia bayesiana se ha propuesto como justificación teórica y generalización de la navaja de Occam , reduciendo los errores de tipo I. ^[16]

Por otra parte, el método moderno de verosimilitud relativa tiene en cuenta el número de parámetros libres en los modelos, a diferencia del cociente de verosimilitud clásico. El método de verosimilitud relativa podría aplicarse de la siguiente manera. El modelo M ₁ tiene 0 parámetros, por lo que su valor de criterio de información de Akaike (AIC) es . El modelo M ₂ tiene 1 parámetro, por lo que su valor de AIC es . Por lo tanto, M ₁ es aproximadamente 2 veces más probable que M ₂ para minimizar la pérdida de información. Por lo tanto, M ₂ es ligeramente preferido, pero M ₁ no puede excluirse. ${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$ ${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$ ${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$

Véase también

• Portal de matemáticas

• Criterio de información de Akaike
• Cálculo bayesiano aproximado
• Criterio de información bayesiano
• Criterio de información de desviación
• La paradoja de Lindley
• Longitud mínima del mensaje
• Selección de modelo
• Valor E

Razones estadísticas

• Razón de probabilidades
• Riesgo relativo

Referencias

1. Morey, Richard D.; Romeijn, Jan-Willem; Rouder, Jeffrey N. (2016). "La filosofía de los factores de Bayes y la cuantificación de la evidencia estadística". Revista de Psicología Matemática . 72 : 6–18. doi : 10.1016/j.jmp.2015.11.001 .
2. Lesaffre, Emmanuel; Lawson, Andrew B. (2012). "Prueba de hipótesis bayesiana". Bioestadística bayesiana . Somerset: John Wiley & Sons. págs. 72–78. doi :10.1002/9781119942412.ch3. ISBN . 978-0-470-01823-1.
3. Ly, Alexander; et al. (2020). "La metodología bayesiana de Sir Harold Jeffreys como una alternativa práctica a la prueba de hipótesis del valor P". Computational Brain & Behavior . 3 (2): 153–161. doi : 10.1007/s42113-019-00070-x . hdl : 2066/226717 .
4. Llorente, Fernando; et al. (2023). "Cálculo de verosimilitud marginal para la selección de modelos y prueba de hipótesis: una revisión exhaustiva". SIAM Review . en aparecer: 3–58. arXiv : 2005.08334 . doi :10.1137/20M1310849. S2CID  210156537.
5. Congdon, Peter (2014). "Estimación de probabilidades de modelos o verosimilitudes marginales en la práctica". Applied Bayesian Modelling (2.ª ed.). Wiley. págs. 38–40. ISBN 978-1-119-95151-3.
6. Koop, Gary (2003). "Comparación de modelos: el índice de densidad de Savage-Dickey". Econometría bayesiana . Somerset: John Wiley & Sons. págs. 69-71. ISBN 0-470-84567-8.
7. Wagenmakers, Eric-Jan; Lodewyckx, Tom; Kuriyal, Himanshu; Grasman, Raoul (2010). "Pruebas de hipótesis bayesianas para psicólogos: un tutorial sobre el método Savage-Dickey" (PDF) . Psicología cognitiva . 60 (3): 158–189. doi :10.1016/j.cogpsych.2009.12.001. PMID  20064637. S2CID  206867662.
8. Ibrahim, Joseph G.; Chen, Ming-Hui; Sinha, Debajyoti (2001). "Comparación de modelos". Análisis de supervivencia bayesiano . Springer Series in Statistics. Nueva York: Springer. págs. 246-254. doi :10.1007/978-1-4757-3447-8_6. ISBN . 0-387-95277-2.
9. Gill, Jeff (2002). "Prueba de hipótesis bayesiana y el factor Bayesiano". Métodos bayesianos: un enfoque de las ciencias sociales y del comportamiento . Chapman & Hall. pp. 199–237. ISBN 1-58488-288-3.
10. Robert E. Kass y Adrian E. Raftery (1995). "Factores de Bayes" (PDF) . Revista de la Asociación Estadounidense de Estadística . 90 (430): 791. doi :10.2307/2291091. JSTOR  2291091.
11. Toni, T.; Stumpf, MPH (2009). "Selección de modelos basados ​​en simulación para sistemas dinámicos en biología de sistemas y poblaciones". Bioinformática . 26 (1): 104–10. arXiv : 0911.1705 . doi :10.1093/bioinformatics/btp619. PMC 2796821 . PMID  19880371. 
12. Robert, CP; J. Cornuet; J. Marin y NS Pillai (2011). "Falta de confianza en la elección aproximada del modelo de cálculo bayesiano". Actas de la Academia Nacional de Ciencias . 108 (37): 15112–15117. Bibcode :2011PNAS..10815112R. doi : 10.1073/pnas.1102900108 . PMC 3174657 . PMID  21876135. 
13. Williams, Matt; Bååth, Rasmus; Philipp, Michael (2017). "Uso de factores de Bayes para probar hipótesis en la investigación del desarrollo". Investigación en desarrollo humano . 14 : 321–337. doi :10.1080/15427609.2017.1370964.
14. Jeffreys, Harold (1998) [1961]. La teoría de la probabilidad (3.ª ed.). Oxford, Inglaterra. pág. 432. ISBN 9780191589676.{{cite book}}: CS1 maint: location missing publisher (link)
15. Good, IJ (1979). "Estudios en la historia de la probabilidad y la estadística. XXXVII AM El trabajo estadístico de Turing en la Segunda Guerra Mundial". Biometrika . 66 (2): 393–396. doi :10.1093/biomet/66.2.393. MR  0548210.
16. Afilando la navaja de Ockham en una correa bayesiana

Lectura adicional

• Bernardo, J.; Smith, AFM (1994). Teoría bayesiana . John Wiley. ISBN 0-471-92416-4.
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002). Métodos bayesianos para clasificación y regresión no lineales . John Wiley. ISBN 0-471-49036-9.
• Dienes, Z. (2019). ¿Cómo sé qué predice mi teoría? Avances en métodos y prácticas en la ciencia psicológica doi :10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Sección 9.6.5". Clasificación de patrones (2.ª ed.). Wiley. págs. 487–489. ISBN 0-471-05669-3.
• Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Análisis de datos bayesianos . Londres: Chapman & Hall . ISBN. 0-412-03991-5.
• Jaynes, ET (1994), Teoría de la probabilidad: la lógica de la ciencia , capítulo 24.
• Kadane, Joseph B.; Dickey, James M. (1980). "Teoría de la decisión bayesiana y simplificación de modelos". En Kmenta, Jan; Ramsey, James B. (eds.). Evaluación de modelos econométricos . Nueva York: Academic Press. págs. 245–268. ISBN 0-12-416550-8.
• Lee, PM (2012). Estadística bayesiana: una introducción . Wiley. ISBN 9781118332573.
• Richard, Mark; Vecer, Jan (2021). "Pruebas de eficiencia de los mercados de predicción: enfoque martingala, razón de verosimilitud y análisis factorial de Bayes". Riesgos . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• Winkler, Robert (2003). Introducción a la inferencia y decisión bayesianas (2.ª ed.). Probabilística. ISBN 0-9647938-4-9.

Enlaces externos

• BayesFactor: un paquete R para calcular factores de Bayes en diseños de investigación comunes
• Calculadora de factores de Bayes: calculadora en línea para obtener factores de Bayes informados
• Calculadoras del factor Bayes Archivado el 7 de mayo de 2015 en Wayback Machine —versión web de gran parte del paquete BayesFactor