Estadísticas bayesianas

Teoría en el campo de la estadística

La estadística bayesiana ( / ˈb eɪ z i ə n / BAY -zee-ən o / ˈb eɪ ʒ ən / BAY -zhən ) ^[1] es una teoría en el campo de la estadística basada en la interpretación bayesiana de la probabilidad , donde la probabilidad expresa un grado de creencia en un evento . El grado de creencia puede basarse en el conocimiento previo sobre el evento, como los resultados de experimentos anteriores, o en creencias personales sobre el evento. Esto difiere de varias otras interpretaciones de la probabilidad , como la interpretación frecuentista , que ve la probabilidad como el límite de la frecuencia relativa de un evento después de muchos ensayos. ^[2] Más concretamente, el análisis en métodos bayesianos codifica el conocimiento previo en forma de una distribución previa .

Los métodos estadísticos bayesianos utilizan el teorema de Bayes para calcular y actualizar las probabilidades después de obtener nuevos datos. El teorema de Bayes describe la probabilidad condicional de un evento en función de los datos, así como de la información o creencias previas sobre el evento o las condiciones relacionadas con el evento. ^{[3] [4]} Por ejemplo, en la inferencia bayesiana , el teorema de Bayes se puede utilizar para estimar los parámetros de una distribución de probabilidad o un modelo estadístico . Dado que las estadísticas bayesianas tratan la probabilidad como un grado de creencia, el teorema de Bayes puede asignar directamente una distribución de probabilidad que cuantifique la creencia al parámetro o conjunto de parámetros. ^{[2] [3]}

La estadística bayesiana debe su nombre a Thomas Bayes , quien formuló un caso específico del teorema de Bayes en un artículo publicado en 1763. En varios artículos que abarcan desde finales del siglo XVIII hasta principios del siglo XIX, Pierre-Simon Laplace desarrolló la interpretación bayesiana de la probabilidad. ^[5] Laplace utilizó métodos que ahora se considerarían bayesianos para resolver una serie de problemas estadísticos. Muchos métodos bayesianos fueron desarrollados por autores posteriores, pero el término no se usó comúnmente para describir dichos métodos hasta la década de 1950. Durante gran parte del siglo XX, muchos estadísticos vieron los métodos bayesianos desfavorablemente debido a consideraciones filosóficas y prácticas. Muchos métodos bayesianos requerían muchos cálculos para completarse, y la mayoría de los métodos que se usaron ampliamente durante el siglo se basaron en la interpretación frecuentista. Sin embargo, con el advenimiento de computadoras poderosas y nuevos algoritmos como la cadena de Markov Monte Carlo , los métodos bayesianos han visto un uso creciente dentro de las estadísticas en el siglo XXI. ^{[2] [6]}

Teorema de Bayes

El teorema de Bayes se utiliza en los métodos bayesianos para actualizar las probabilidades, que son grados de creencia, después de obtener nuevos datos. Dados dos eventos y , la probabilidad condicional de que sea verdadera se expresa de la siguiente manera: ^[7] ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$

$${\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}$$

donde . Aunque el teorema de Bayes es un resultado fundamental de la teoría de la probabilidad , tiene una interpretación específica en las estadísticas bayesianas. En la ecuación anterior, generalmente representa una proposición (como la afirmación de que una moneda cae de cara el cincuenta por ciento de las veces) y representa la evidencia o los nuevos datos que se deben tener en cuenta (como el resultado de una serie de lanzamientos de moneda). es la probabilidad previa de que expresa las creencias de uno sobre antes de que se tenga en cuenta la evidencia. La probabilidad previa también puede cuantificar el conocimiento o la información previos sobre . es la función de verosimilitud , que puede interpretarse como la probabilidad de que la evidencia dada sea verdadera. La verosimilitud cuantifica el grado en que la evidencia respalda la proposición . es la probabilidad posterior , la probabilidad de la proposición después de tener en cuenta la evidencia . Esencialmente, el teorema de Bayes actualiza las creencias previas de uno después de considerar la nueva evidencia . ^[2] ${\displaystyle P(B)\neq 0}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle A}$ ${\displaystyle P(B\mid A)}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle P(A\mid B)}$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle P(A)}$ ${\displaystyle B}$

La probabilidad de la evidencia se puede calcular utilizando la ley de probabilidad total . Si es una partición del espacio muestral , que es el conjunto de todos los resultados de un experimento, entonces, ^{[2] [7]} ${\displaystyle P(B)}$ ${\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}$

$${\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}$$

Cuando hay un número infinito de resultados, es necesario integrar todos los resultados para calcular utilizando la ley de probabilidad total. A menudo, es difícil de calcular ya que el cálculo implicaría sumas o integrales que llevarían mucho tiempo evaluar, por lo que a menudo solo se considera el producto de la probabilidad previa y la probabilidad, ya que la evidencia no cambia en el mismo análisis. La probabilidad posterior es proporcional a este producto: ^[2] ${\displaystyle P(B)}$ ${\displaystyle P(B)}$

$${\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}$$

El máximo a posteriori , que es la moda del posterior y que a menudo se calcula en las estadísticas bayesianas utilizando métodos de optimización matemática , sigue siendo el mismo. El posterior se puede aproximar incluso sin calcular el valor exacto de con métodos como el método de Monte Carlo de cadena de Markov o los métodos bayesianos variacionales . ^[2] ${\displaystyle P(B)}$

Métodos bayesianos

El conjunto general de técnicas estadísticas se puede dividir en varias actividades, muchas de las cuales tienen versiones bayesianas especiales.

Inferencia bayesiana

La inferencia bayesiana se refiere a la inferencia estadística en la que la incertidumbre en las inferencias se cuantifica utilizando la probabilidad. ^[8] En la inferencia frecuentista clásica , los parámetros del modelo y las hipótesis se consideran fijos. Las probabilidades no se asignan a los parámetros o hipótesis en la inferencia frecuentista. Por ejemplo, no tendría sentido en la inferencia frecuentista asignar directamente una probabilidad a un evento que solo puede suceder una vez, como el resultado del siguiente lanzamiento de una moneda justa. Sin embargo, tendría sentido afirmar que la proporción de caras se acerca a la mitad a medida que aumenta el número de lanzamientos de moneda. ^[9]

Los modelos estadísticos especifican un conjunto de supuestos y procesos estadísticos que representan cómo se generan los datos de muestra. Los modelos estadísticos tienen una serie de parámetros que se pueden modificar. Por ejemplo, una moneda se puede representar como muestras de una distribución de Bernoulli , que modela dos resultados posibles. La distribución de Bernoulli tiene un único parámetro igual a la probabilidad de un resultado, que en la mayoría de los casos es la probabilidad de caer cara. Idear un buen modelo para los datos es central en la inferencia bayesiana. En la mayoría de los casos, los modelos solo aproximan el proceso verdadero y pueden no tener en cuenta ciertos factores que influyen en los datos. ^[2] En la inferencia bayesiana, las probabilidades se pueden asignar a los parámetros del modelo. Los parámetros se pueden representar como variables aleatorias . La inferencia bayesiana utiliza el teorema de Bayes para actualizar las probabilidades después de que se obtenga o conozca más evidencia. ^{[2] [10]}

Modelado estadístico

La formulación de modelos estadísticos mediante estadísticas bayesianas tiene la característica distintiva de requerir la especificación de distribuciones previas para cualquier parámetro desconocido. De hecho, los parámetros de distribuciones previas pueden tener distribuciones previas, lo que conduce al modelado jerárquico bayesiano , ^{[11] [12] [13]} también conocido como modelado multinivel. Un caso especial son las redes bayesianas .

Para realizar un análisis estadístico bayesiano, las mejores prácticas se analizan en van de Schoot et al. ^[14].

Para informar los resultados de un análisis estadístico bayesiano, se proporcionan pautas de informe de análisis bayesiano (BARG) en un artículo de acceso abierto de John K. Kruschke . ^[15]

Diseño de experimentos

El diseño bayesiano de experimentos incluye un concepto llamado "influencia de creencias previas". Este enfoque utiliza técnicas de análisis secuencial para incluir el resultado de experimentos anteriores en el diseño del próximo experimento. Esto se logra actualizando las "creencias" mediante el uso de la distribución previa y posterior . Esto permite que el diseño de experimentos haga un buen uso de recursos de todo tipo. Un ejemplo de esto es el problema del bandido multiarmado .

Análisis exploratorio de modelos bayesianos

El análisis exploratorio de modelos bayesianos es una adaptación o extensión del enfoque de análisis exploratorio de datos a las necesidades y peculiaridades del modelado bayesiano. En palabras de Persi Diaconis: ^[16]

El análisis exploratorio de datos busca revelar la estructura o descripciones simples de los datos. Observamos números o gráficos e intentamos encontrar patrones. Buscamos pistas sugeridas por la información de fondo, la imaginación, los patrones percibidos y la experiencia con otros análisis de datos.

El proceso de inferencia genera una distribución posterior, que tiene un papel central en la estadística bayesiana, junto con otras distribuciones como la distribución predictiva posterior y la distribución predictiva previa. La correcta visualización, análisis e interpretación de estas distribuciones es clave para responder adecuadamente las preguntas que motivan el proceso de inferencia. ^[17]

Al trabajar con modelos bayesianos hay una serie de tareas relacionadas que deben abordarse además de la inferencia misma:

• Diagnósticos de la calidad de la inferencia, esto es necesario cuando se utilizan métodos numéricos como las técnicas de Monte Carlo de cadenas de Markov .
• Crítica de modelos, incluidas evaluaciones tanto de los supuestos como de las predicciones de los modelos.
• Comparación de modelos, incluida la selección de modelos o el promedio de modelos
• Preparación de los resultados para una audiencia específica

Todas estas tareas forman parte del enfoque del análisis exploratorio de modelos bayesianos y su realización exitosa es fundamental para el proceso de modelado iterativo e interactivo. Estas tareas requieren resúmenes tanto numéricos como visuales. ^{[18] [19] [20]}

Véase también

• Epistemología bayesiana
• Para obtener una lista de la notación lógica matemática utilizada en este artículo
  • Notación en probabilidad y estadística
  • Lista de símbolos lógicos

Referencias

1. "Bayesiano". Diccionario Merriam-Webster.com . Merriam-Webster.
2. Gelman, Andrew ; Carlin, John B .; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Análisis de datos bayesianos (tercera edición). Chapman y Hall/CRC. ISBN 978-1-4398-4095-5.
3. McElreath, Richard (2020). Replanteamiento estadístico: un curso bayesiano con ejemplos en R y Stan (2.ª ed.). Chapman y Hall/CRC. ISBN 978-0-367-13991-9.
4. Kruschke, John (2014). Cómo hacer análisis de datos bayesianos: un tutorial con R, JAGS y Stan (2.ª ed.). Academic Press. ISBN 978-0-12-405888-0.
5. McGrayne, Sharon (2012). La teoría que no quería morir: cómo la regla de Bayes descifró el código Enigma, persiguió submarinos rusos y emergió triunfante de dos siglos de controversia (Primera edición). Chapman y Hall/CRC. ISBN 978-0-3001-8822-6.
6. Fienberg, Stephen E. (2006). "¿Cuándo la inferencia bayesiana se volvió "bayesiana"?". Análisis bayesiano . 1 (1): 1–40. doi : 10.1214/06-BA101 .
7. Grinstead, Charles M.; Snell, J. Laurie (2006). Introducción a la probabilidad (2.ª ed.). Providence, RI: American Mathematical Society. ISBN 978-0-8218-9414-9.
8. Lee, Se Yoon (2021). "Inferencia variacional mediante el muestreador de Gibbs y el ascenso de coordenadas: una revisión de la teoría de conjuntos". Comunicaciones en estadística: teoría y métodos . 51 (6): 1549–1568. arXiv : 2008.01006 . doi :10.1080/03610926.2021.1921214. S2CID  220935477.
9. Wakefield, Jon (2013). Métodos de regresión bayesiana y frecuentista . Nueva York, NY: Springer. ISBN 978-1-4419-0924-4.
10. Congdon, Peter (2014). Modelado bayesiano aplicado (2.ª ed.). Wiley. ISBN 978-1119951513.
11. Kruschke, JK ; Vanpaemel, W (2015). "Estimación bayesiana en modelos jerárquicos". En Busemeyer, JR; Wang, Z; Townsend, JT; Eidels, A (eds.). El manual de Oxford de psicología computacional y matemática (PDF) . Oxford University Press. págs. 279–299.
12. Hajiramezanali, E. y Dadaneh, SZ y Karbalayghareh, A. y Zhou, Z. y Qian, X. Aprendizaje multidominio bayesiano para el descubrimiento de subtipos de cáncer a partir de datos de recuento de secuenciación de próxima generación. 32.ª Conferencia sobre sistemas de procesamiento de información neuronal (NIPS 2018), Montreal, Canadá. arXiv :1810.09433
13. Lee, Se Yoon; Mallick, Bani (2021). "Modelado jerárquico bayesiano: aplicación a los resultados de producción en Eagle Ford Shale del sur de Texas". Sankhya B . 84 : 1–43. doi :10.1007/s13571-020-00245-8.
14. van de Schoot, Rens; Depaoli, Sarah; King, Ruth; Kramer, Bianca; Märtens, Kaspar; Tadesse, Mahlet G.; Vannucci, Marina; Gelman, Andrew; Veen, Duco; Willemsen, Joukje; Yau, Christopher (14 de enero de 2021). "Estadísticas y modelado bayesiano". Nature Reviews Methods Primers . 1 (1): 1–26. doi :10.1038/s43586-020-00001-2. hdl : 1874/415909 . S2CID  234108684.
15. Kruschke, JK (16 de agosto de 2021). "Directrices para la presentación de informes de análisis bayesianos". Nature Human Behaviour . 5 (10): 1282–1291. doi :10.1038/s41562-021-01177-7. PMC 8526359 . PMID  34400814. 
16. Diaconis, Persi (2011) Teorías del análisis de datos: del pensamiento mágico a la estadística clásica. John Wiley & Sons, Ltd 2:e55 doi :10.1002/9781118150702.ch1
17. Kumar, Ravin; Carroll, Colin; Hartikainen, Ari; Martin, Osvaldo (2019). "ArviZ una biblioteca unificada para el análisis exploratorio de modelos bayesianos en Python". Journal of Open Source Software . 4 (33): 1143. Bibcode :2019JOSS....4.1143K. doi : 10.21105/joss.01143 . hdl : 11336/114615 .
18. Gabry, Jonah; Simpson, Daniel; Vehtari, Aki; Betancourt, Michael; Gelman, Andrew (2019). "Visualización en el flujo de trabajo bayesiano". Revista de la Royal Statistical Society, Serie A (Estadísticas en la sociedad) . 182 (2): 389–402. arXiv : 1709.01449 . doi :10.1111/rssa.12378. S2CID  26590874.
19. Vehtari, Aki; Gelman, Andrew; Simpson, Daniel; Carpenter, Bob; Bürkner, Paul-Christian (2021). "Normalización de rangos, plegado y localización: un Rˆ mejorado para evaluar la convergencia de MCMC (con discusión)". Análisis bayesiano . 16 (2). arXiv : 1903.08008 . doi :10.1214/20-BA1221. S2CID  88522683.
20. Martin, Osvaldo (2018). Análisis bayesiano con Python: Introducción al modelado estadístico y programación probabilística utilizando PyMC3 y ArviZ. Packt Publishing Ltd. ISBN 9781789341652.

Lectura adicional

• Bernardo, José M. ; Smith, Adrian FM (2000). Teoría bayesiana . Nueva York: Wiley. ISBN 0-471-92416-4.
• Bolstad, William M.; Curran, James M. (2016). Introducción a la estadística bayesiana (3.ª ed.). Wiley. ISBN 978-1-118-09156-2.
• Downey, Allen B. (2021). Think Bayes: Estadística bayesiana en Python (2.ª ed.). O'Reilly. ISBN 978-1-4920-8946-9.
• Hoff, Peter D. (2009). Un primer curso sobre métodos estadísticos bayesianos (2.ª ed.). Nueva York: Springer. ISBN 978-1-4419-2828-3.
• Lee, Peter M. (2012). Estadística bayesiana: una introducción (4.ª ed.). Wiley. ISBN 978-1-118-33257-3.
• Robert, Christian P. (2007). La elección bayesiana: desde los fundamentos teóricos de la decisión hasta la implementación computacional (2.ª ed.). Nueva York: Springer. ISBN 978-0-387-71598-8.
• Johnson, Alicia A.; Ott, Miles Q.; Dogucu, Mine. (2022) ¡ Reglas de Bayes! Una introducción al modelado bayesiano aplicado. Chapman y Hall ISBN 9780367255398

Enlaces externos

• Theo Kypraios. "Un sencillo tutorial sobre estadística bayesiana" (PDF) . Consultado el 3 de noviembre de 2013 .
• Jordi Vallverdu. Bayesianos versus frecuentistas. Un debate filosófico sobre el razonamiento estadístico.
• Estadística bayesiana David Spiegelhalter , Kenneth Rice Scholarpedia 4(8):5230. doi:10.4249/scholarpedia.5230
• Libro de modelado bayesiano y ejemplos disponibles para descargar.
• Rens van de Schoot. "Una introducción sencilla al análisis bayesiano" (PDF) .
• Calculadora de pruebas A/B bayesianas Rendimiento dinámico