Estadísticas bayesianas

Teoría en el campo de la estadística.

La estadística bayesiana ( / ˈ b eɪ z i ən / BAY -zee-ən o / ˈ b eɪ ʒ ən / BAY -zhən ) ^[1] es una teoría en el campo de la estadística basada en la interpretación bayesiana de la probabilidad donde la probabilidad expresa una Grado de creencia en un evento . El grado de creencia puede basarse en conocimientos previos sobre el evento, como los resultados de experimentos anteriores, o en creencias personales sobre el evento. Esto difiere de otras interpretaciones de la probabilidad , como la interpretación frecuentista que considera la probabilidad como el límite de la frecuencia relativa de un evento después de muchas pruebas. ^[2] Más concretamente, el análisis en métodos bayesianos codifica el conocimiento previo en forma de una distribución previa .

Los métodos estadísticos bayesianos utilizan el teorema de Bayes para calcular y actualizar probabilidades después de obtener nuevos datos. El teorema de Bayes describe la probabilidad condicional de un evento basándose en datos, así como en información o creencias previas sobre el evento o condiciones relacionadas con el evento. ^{[3] [4]} Por ejemplo, en la inferencia bayesiana , el teorema de Bayes se puede utilizar para estimar los parámetros de una distribución de probabilidad o un modelo estadístico . Dado que la estadística bayesiana trata la probabilidad como un grado de creencia, el teorema de Bayes puede asignar directamente una distribución de probabilidad que cuantifique la creencia al parámetro o conjunto de parámetros. ^{[2] [3]}

La estadística bayesiana lleva el nombre de Thomas Bayes , quien formuló un caso específico del teorema de Bayes en un artículo publicado en 1763. En varios artículos que abarcan desde finales del siglo XVIII hasta principios del XIX, Pierre-Simon Laplace desarrolló la interpretación bayesiana de la probabilidad. ^[5] Laplace utilizó métodos que ahora se considerarían bayesianos para resolver una serie de problemas estadísticos. Muchos métodos bayesianos fueron desarrollados por autores posteriores, pero el término no se utilizó comúnmente para describir dichos métodos hasta la década de 1950. Durante gran parte del siglo XX, muchos estadísticos vieron desfavorablemente los métodos bayesianos debido a consideraciones filosóficas y prácticas. Muchos métodos bayesianos requirieron mucho cálculo para completarse, y la mayoría de los métodos que se utilizaron ampliamente durante el siglo se basaron en la interpretación frecuentista. Sin embargo, con la llegada de potentes ordenadores y nuevos algoritmos como la cadena de Markov Monte Carlo , los métodos bayesianos se han utilizado cada vez más en las estadísticas del siglo XXI. ^{[2] [6]}

Teorema de Bayes

El teorema de Bayes se utiliza en los métodos bayesianos para actualizar las probabilidades, que son grados de creencia, después de obtener nuevos datos. Dados dos eventos y , la probabilidad condicional de que sea verdadero se expresa de la siguiente manera: ^[7] ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$

$${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$$

dónde . Aunque el teorema de Bayes es un resultado fundamental de la teoría de la probabilidad , tiene una interpretación específica en la estadística bayesiana. En la ecuación anterior, normalmente representa una proposición (como la afirmación de que una moneda cae cara el cincuenta por ciento de las veces) y representa la evidencia, o datos nuevos que se deben tener en cuenta (como el resultado de una serie de lanzamientos de monedas). es la probabilidad previa de la cual se expresan las creencias antes de que se tenga en cuenta la evidencia. La probabilidad previa también puede cuantificar conocimientos o información previos sobre . es la función de verosimilitud , que puede interpretarse como la probabilidad de que la evidencia dada sea cierta. La probabilidad cuantifica el grado en que la evidencia respalda la proposición . es la probabilidad posterior , la probabilidad de la proposición después de tener en cuenta la evidencia . Esencialmente, el teorema de Bayes actualiza las creencias previas después de considerar la nueva evidencia . ^[2] ${\displaystyle P(B)\neq 0}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle P(B\mid A)}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle P(A\mid B)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle B}$

La probabilidad de la evidencia se puede calcular utilizando la ley de probabilidad total . Si es una partición del espacio muestral , que es el conjunto de todos los resultados de un experimento, entonces, ^{[2] [7]} ${\displaystyle P(B)}$ ${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$

$${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$$

Cuando hay un número infinito de resultados, es necesario integrar todos los resultados para calcularlos utilizando la ley de probabilidad total. A menudo, es difícil de calcular ya que el cálculo involucraría sumas o integrales cuya evaluación llevaría mucho tiempo, por lo que a menudo solo se considera el producto del a priori y la probabilidad, ya que la evidencia no cambia en el mismo análisis. El posterior es proporcional a este producto: ^[2] ${\displaystyle P(B)}$ ${\displaystyle P(B)}$

$${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$$

El máximo a posteriori , que es la moda del posterior y a menudo se calcula en la estadística bayesiana utilizando métodos de optimización matemática , sigue siendo el mismo. El posterior se puede aproximar incluso sin calcular el valor exacto de con métodos como la cadena de Markov Monte Carlo o los métodos bayesianos variacionales . ^[2] ${\displaystyle P(B)}$

métodos bayesianos

El conjunto general de técnicas estadísticas se puede dividir en una serie de actividades, muchas de las cuales tienen versiones bayesianas especiales.

Inferencia bayesiana

La inferencia bayesiana se refiere a la inferencia estadística en la que la incertidumbre en las inferencias se cuantifica mediante la probabilidad. ^[8] En la inferencia frecuentista clásica , los parámetros y las hipótesis del modelo se consideran fijos. Las probabilidades no se asignan a parámetros o hipótesis en la inferencia frecuentista. Por ejemplo, en la inferencia frecuentista no tendría sentido asignar directamente una probabilidad a un evento que sólo puede ocurrir una vez, como el resultado del siguiente lanzamiento de una moneda justa. Sin embargo, tendría sentido afirmar que la proporción de caras se acerca a la mitad a medida que aumenta el número de lanzamientos de moneda. ^[9]

Los modelos estadísticos especifican un conjunto de supuestos y procesos estadísticos que representan cómo se generan los datos de muestra. Los modelos estadísticos tienen una serie de parámetros que pueden modificarse. Por ejemplo, una moneda se puede representar como muestras de una distribución de Bernoulli , que modela dos resultados posibles. La distribución de Bernoulli tiene un único parámetro igual a la probabilidad de un resultado, que en la mayoría de los casos es la probabilidad de caer en cara. Diseñar un buen modelo para los datos es fundamental en la inferencia bayesiana. En la mayoría de los casos, los modelos sólo se aproximan al proceso real y es posible que no tengan en cuenta ciertos factores que influyen en los datos. ^[2] En la inferencia bayesiana, se pueden asignar probabilidades a los parámetros del modelo. Los parámetros se pueden representar como variables aleatorias . La inferencia bayesiana utiliza el teorema de Bayes para actualizar las probabilidades después de que se obtiene o conoce más evidencia. ^{[2] [10]}

Modelado estadístico

La formulación de modelos estadísticos utilizando estadística bayesiana tiene la característica identificativa de requerir la especificación de distribuciones previas para cualquier parámetro desconocido. De hecho, los parámetros de distribuciones anteriores pueden tener distribuciones previas, lo que lleva al modelado jerárquico bayesiano , ^{[11] [12] [13]} también conocido como modelado multinivel. Un caso especial son las redes bayesianas .

Para realizar un análisis estadístico bayesiano, van de Schoot et al. analizan las mejores prácticas. ^[14]

Para informar los resultados de un análisis estadístico bayesiano, se proporcionan pautas de informes de análisis bayesianos (BARG) en un artículo de acceso abierto de John K. Kruschke . ^[15]

Diseño de experimentos

El diseño bayesiano de experimentos incluye un concepto llamado "influencia de creencias previas". Este enfoque utiliza técnicas de análisis secuencial para incluir el resultado de experimentos anteriores en el diseño del siguiente experimento. Esto se logra actualizando las "creencias" mediante el uso de distribución previa y posterior . Esto permite diseñar experimentos para hacer un buen uso de recursos de todo tipo. Un ejemplo de esto es el problema de los bandidos con múltiples brazos .

Análisis exploratorio de modelos bayesianos.

El análisis exploratorio de modelos bayesianos es una adaptación o extensión del enfoque de análisis de datos exploratorio a las necesidades y peculiaridades del modelado bayesiano. En palabras de Persi Diaconis: ^[16]

El análisis exploratorio de datos busca revelar la estructura o descripciones simples de los datos. Observamos números o gráficos y tratamos de encontrar patrones. Seguimos pistas sugeridas por información previa, imaginación, patrones percibidos y experiencia con otros análisis de datos.

El proceso de inferencia genera una distribución posterior, que tiene un papel central en la estadística bayesiana, junto con otras distribuciones como la distribución predictiva posterior y la distribución predictiva previa. La correcta visualización, análisis e interpretación de estas distribuciones es clave para responder adecuadamente a las preguntas que motivan el proceso de inferencia. ^[17]

Cuando se trabaja con modelos bayesianos hay una serie de tareas relacionadas que deben abordarse además de la propia inferencia:

• Diagnósticos de la calidad de la inferencia, esto es necesario cuando se utilizan métodos numéricos como las técnicas de cadena de Markov Monte Carlo.
• Crítica de modelos, incluidas evaluaciones tanto de los supuestos como de las predicciones del modelo.
• Comparación de modelos, incluida la selección de modelos o el promedio de modelos
• Preparación de los resultados para una audiencia particular.

Todas estas tareas son parte del enfoque de análisis exploratorio de modelos bayesianos y realizarlas con éxito es fundamental para el proceso de modelado iterativo e interactivo. Estas tareas requieren resúmenes tanto numéricos como visuales. ^{[18] [19] [20]}

Ver también

• Epistemología bayesiana
• Para obtener una lista de notación lógica matemática utilizada en este artículo
  • Notación en probabilidad y estadística.
  • Lista de símbolos lógicos

Referencias

1. "Bayesiano". Diccionario Merriam-Webster.com .
2. Gelman, Andrés ; Carlín, John B .; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Análisis de datos bayesianos (Tercera ed.). Chapman y Hall/CRC. ISBN 978-1-4398-4095-5.
3. McElreath, Richard (2020). Repensamiento estadístico: un curso bayesiano con ejemplos en R y Stan (2ª ed.). Chapman y Hall/CRC. ISBN 978-0-367-13991-9.
4. Kruschke, John (2014). Realización de análisis de datos bayesianos: un tutorial con R, JAGS y Stan (2ª ed.). Prensa académica. ISBN 978-0-12-405888-0.
5. McGrayne, Sharon (2012). La teoría que no moriría: cómo el gobierno de Bayes descifró el código Enigma, persiguió a los submarinos rusos y emergió triunfante de dos siglos de controversia (Primera ed.). Chapman y Hall/CRC. ISBN 978-0-3001-8822-6.
6. Fienberg, Stephen E. (2006). "¿Cuándo se volvió la inferencia bayesiana" bayesiana "?". Análisis bayesiano . 1 (1): 1–40. doi : 10.1214/06-BA101 .
7. Grinstead, Charles M.; Snell, J. Laurie (2006). Introducción a la probabilidad (2ª ed.). Providence, RI: Sociedad Estadounidense de Matemáticas. ISBN 978-0-8218-9414-9.
8. Lee, Se Yoon (2021). "Muestreador de Gibbs e inferencia variacional de ascenso de coordenadas: una revisión de la teoría de conjuntos". Comunicaciones en Estadística - Teoría y Métodos . 51 (6): 1549-1568. arXiv : 2008.01006 . doi :10.1080/03610926.2021.1921214. S2CID  220935477.
9. Wakefield, Jon (2013). Métodos de regresión bayesianos y frecuentistas . Nueva York, Nueva York: Springer. ISBN 978-1-4419-0924-4.
10. Congdon, Peter (2014). Modelado bayesiano aplicado (2ª ed.). Wiley. ISBN 978-1119951513.
11. Kruschke, JK ; Vanpaemel, W (2015). "Estimación bayesiana en modelos jerárquicos". En Busemeyer, JR; Wang, Z; Townsend, JT; Eidels, A (eds.). El manual de Oxford de psicología computacional y matemática (PDF) . Prensa de la Universidad de Oxford. págs. 279–299.
12. Hajiramezanali, E. & Dadaneh, SZ & Karbalayghareh, A. & Zhou, Z. & Qian, X. Aprendizaje bayesiano multidominio para el descubrimiento de subtipos de cáncer a partir de datos de recuento de secuenciación de próxima generación. 32.a Conferencia sobre sistemas de procesamiento de información neuronal (NIPS 2018), Montreal, Canadá. arXiv : 1810.09433
13. Lee, Se Yoon; Mallick, Bani (2021). "Modelado jerárquico bayesiano: aplicación a resultados de producción en Eagle Ford Shale del sur de Texas". Sankhya B. 84 : 1–43. doi :10.1007/s13571-020-00245-8.
14. van de Schoot, Rens; Depaoli, Sarah; Rey, Rut; Kramer, Bianca; Märtens, Kaspar; Tadesse, Mahlet G.; Vannucci, Marina; Gelman, Andrés; Veen, Duco; Willemsen, Joukje; Yau, Christopher (14 de enero de 2021). "Estadísticas y modelos bayesianos". Imprimaciones de métodos de reseñas de la naturaleza . 1 (1): 1–26. doi :10.1038/s43586-020-00001-2. hdl : 1874/415909 . S2CID  234108684.
15. Kruschke, JK (16 de agosto de 2021). "Pautas para la elaboración de informes de análisis bayesiano". Naturaleza Comportamiento Humano . 5 (10): 1282-1291. doi :10.1038/s41562-021-01177-7. PMC 8526359 . PMID  34400814. 
16. Diaconis, Persi (2011) Teorías del análisis de datos: del pensamiento mágico a la estadística clásica. John Wiley & Sons, Ltd 2:e55 doi :10.1002/9781118150702.ch1
17. Kumar, Ravin; Carroll, Colin; Hartikainen, Ari; Martín, Osvaldo (2019). "ArviZ, una biblioteca unificada para análisis exploratorio de modelos bayesianos en Python". Revista de software de código abierto . 4 (33): 1143. Código bibliográfico : 2019JOSS....4.1143K. doi : 10.21105/joss.01143 . hdl : 11336/114615 .
18. Gabry, Jonás; Simpson, Daniel; Vehtari, Aki; Betancourt, Michael; Gelman, Andrés (2019). "Visualización en flujo de trabajo bayesiano". Revista de la Royal Statistical Society, Serie A (Estadística en la sociedad) . 182 (2): 389–402. arXiv : 1709.01449 . doi :10.1111/rssa.12378. S2CID  26590874.
19. Vehtari, Aki; Gelman, Andrés; Simpson, Daniel; Carpintero, Bob; Bürkner, Paul-Christian (2021). "Normalización, plegamiento y localización de rangos: una R mejorada para evaluar la convergencia de MCMC (con discusión)". Análisis bayesiano . 16 (2). arXiv : 1903.08008 . doi :10.1214/20-BA1221. S2CID  88522683.
20. Martín, Osvaldo (2018). Análisis Bayesiano con Python: Introducción al modelado estadístico y programación probabilística usando PyMC3 y ArviZ. Packt Publishing Ltd. ISBN 9781789341652.

Otras lecturas

• Bernardo, José M .; Smith, Adrián FM (2000). Teoría bayesiana . Nueva York: Wiley. ISBN 0-471-92416-4.
• Bolstad, William M.; Curran, James M. (2016). Introducción a la estadística bayesiana (3ª ed.). Wiley. ISBN 978-1-118-09156-2.
• Downey, Allen B. (2021). Piense en Bayes: estadística bayesiana en Python (2ª ed.). O'Reilly. ISBN 978-1-4920-8946-9.
• Hoff, Peter D. (2009). Un primer curso de métodos estadísticos bayesianos (2ª ed.). Nueva York: Springer. ISBN 978-1-4419-2828-3.
• Lee, Peter M. (2012). Estadística bayesiana: una introducción (4ª ed.). Wiley. ISBN 978-1-118-33257-3.
• Robert, Christian P. (2007). La elección bayesiana: de los fundamentos teóricos de la decisión a la implementación computacional (2ª ed.). Nueva York: Springer. ISBN 978-0-387-71598-8.
• Johnson, Alicia A.; Ott, Miles Q.; Dogucu, el mío. (2022) ¡Reglas de Bayes! Introducción al modelado bayesiano aplicado. Chapman y Hall ISBN 9780367255398

enlaces externos

• Theo Kypraios. "Un sencillo tutorial de estadística bayesiana" (PDF) . Consultado el 3 de noviembre de 2013 .
• Jordi Vallverdú. Bayesianos versus frecuentistas: un debate filosófico sobre el razonamiento estadístico.
• Estadística bayesiana David Spiegelhalter , Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Libro de modelado bayesiano y ejemplos disponibles para descargar.
• Rens van de Schoot. "Una suave introducción al análisis bayesiano" (PDF) .
• Calculadora de pruebas bayesianas A/B Rendimiento dinámico