Diseño experimental bayesiano

El diseño experimental bayesiano proporciona un marco teórico de probabilidad general del cual se pueden derivar otras teorías sobre el diseño experimental . Se basa en la inferencia bayesiana para interpretar las observaciones/datos adquiridos durante el experimento. Esto permite tener en cuenta tanto cualquier conocimiento previo sobre los parámetros a determinar como las incertidumbres en las observaciones.

La teoría del diseño experimental bayesiano se basa hasta cierto punto en la teoría para la toma de decisiones óptimas en condiciones de incertidumbre . El objetivo al diseñar un experimento es maximizar la utilidad esperada del resultado del experimento. La utilidad se define más comúnmente en términos de una medida de la precisión de la información proporcionada por el experimento (por ejemplo, la información de Shannon o el negativo de la varianza ), pero también puede involucrar factores como el costo financiero de realizar el experimento. Cuál será el diseño óptimo del experimento depende del criterio de utilidad particular elegido.

Relaciones con la teoría del diseño óptimo más especializada

Teoría lineal

Si el modelo es lineal, la función de densidad de probabilidad previa (PDF) es homogénea y los errores de observación se distribuyen normalmente , la teoría se simplifica a la teoría clásica del diseño experimental óptimo .

Normalidad aproximada

En numerosas publicaciones sobre diseño experimental bayesiano, se supone (a menudo implícitamente) que todas las probabilidades posteriores serán aproximadamente normales. Esto permite calcular la utilidad esperada utilizando la teoría lineal, promediando el espacio de los parámetros del modelo. ^[1] Sin embargo, se debe tener precaución al aplicar este método, ya que la normalidad aproximada de todos los posteriores posibles es difícil de verificar, incluso en casos de errores de observación normales y probabilidad previa uniforme.

Distribución posterior

En muchos casos, la distribución posterior no está disponible en forma cerrada y debe aproximarse mediante métodos numéricos. El enfoque más común es utilizar métodos Monte Carlo de cadena de Markov para generar muestras a partir de la parte posterior, que luego se pueden utilizar para aproximar la utilidad esperada.

Otro enfoque es utilizar una aproximación variacional de Bayes de la parte posterior, que a menudo se puede calcular de forma cerrada. Este enfoque tiene la ventaja de ser computacionalmente más eficiente que los métodos de Monte Carlo, pero la desventaja de que la aproximación puede no ser muy precisa.

Algunos autores propusieron enfoques que utilizan la distribución predictiva posterior para evaluar el efecto de nuevas mediciones sobre la incertidumbre de la predicción, ^{[2] [3]} mientras que otros sugieren maximizar la información mutua entre parámetros, predicciones y nuevos experimentos potenciales. ^[4]

formulación matemática

Dado un vector de parámetros a determinar, una probabilidad previa sobre esos parámetros y una probabilidad de realizar observaciones , dados los valores de los parámetros y un diseño de experimento , la probabilidad posterior se puede calcular utilizando el teorema de Bayes. ${\displaystyle \theta }$ ${\displaystyle p(\theta )}$ ${\displaystyle p(y\mid \theta ,\xi )}$ ${\displaystyle y}$ ${\displaystyle \theta }$ ${\displaystyle \xi }$

${\displaystyle p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,}$

¿Dónde está la densidad de probabilidad marginal en el espacio de observación? ${\displaystyle p(y\mid \xi )}$

${\displaystyle p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.}$

Entonces se puede definir la utilidad esperada de un experimento con diseño. ${\displaystyle \xi }$

${\displaystyle U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,}$

donde es algún funcional de valor real de la probabilidad posterior después de realizar una observación utilizando un diseño de experimento . ${\displaystyle U(y,\xi )}$ ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$

Obtenga información de Shannon como utilidad

La utilidad puede definirse como la ganancia anterior-posterior en información de Shannon.

${\displaystyle U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.}$

Otra posibilidad es definir la utilidad como

${\displaystyle U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,}$

la divergencia Kullback-Leibler de la distribución anterior de la posterior. Lindley (1956) señaló que la utilidad esperada será entonces independiente de las coordenadas y puede escribirse de dos formas

${\displaystyle {\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,}$

de los cuales este último puede evaluarse sin necesidad de evaluar la probabilidad posterior individual para todas las observaciones posibles . ^[5] Vale la pena señalar que el segundo término en la segunda línea de la ecuación no dependerá del diseño , siempre y cuando la incertidumbre observacional no dependa. Por otro lado, la integral de en la primera forma es constante para todos , por lo que si el objetivo es elegir el diseño con la mayor utilidad, no es necesario calcular el término en absoluto. Varios autores han considerado técnicas numéricas para evaluar y optimizar este criterio. ^{[6] [7]} Tenga en cuenta que ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$ ${\displaystyle p(\theta )\log p(\theta )}$ ${\displaystyle \xi }$

${\displaystyle U(\xi )=I(\theta ;y)\,,}$

siendo la ganancia de información esperada exactamente la información mutua entre el parámetro θ y la observación y . En Bania (2019) se ofrece un ejemplo de diseño bayesiano para la discriminación de modelos dinámicos lineales. ^[8] Dado que era difícil de calcular, su límite inferior se ha utilizado como función de utilidad. Luego, el límite inferior se maximiza bajo la restricción de energía de la señal. El diseño bayesiano propuesto también se ha comparado con el diseño D-óptimo promedio clásico. Se demostró que el diseño bayesiano es superior al diseño D-óptimo. ${\displaystyle I(\theta ;y)\,,}$

El criterio de Kelly también describe dicha función de utilidad para un jugador que busca maximizar las ganancias, que se utiliza en el juego y en la teoría de la información ; La situación de Kelly es idéntica a la anterior, con la información adicional o "cable privado" tomando el lugar del experimento.

Ver también

• optimización bayesiana
• Diseño óptimo
• Aprendizaje activo
• Valor esperado de la información de la muestra.

Referencias

1. Un enfoque revisado en Chaloner, Kathryn; Verdinelli, Isabella (1995), "Diseño experimental bayesiano: una revisión" (PDF) , Statistical Science , 10 (3): 273–304, doi : 10.1214/ss/1177009939
2. Vanlier; Tieman; Hilbers; van Riel (2012), "Un enfoque bayesiano para el diseño de experimentos dirigidos", Bioinformática , 28 (8): 1136–1142, doi :10.1093/bioinformatics/bts092, PMC 3324513 , PMID  22368245 
3. Thibaut; Laloy; Hermans (2021), "Un nuevo marco para el diseño experimental utilizando el aprendizaje evidencial bayesiano: el caso del área de protección de boca de pozo", Journal of Hydrology , 603 : 126903, arXiv : 2105.05539 , Bibcode : 2021JHyd..60326903T, doi : 10.1016/j. jhidrol.2021.126903, hdl : 1854/LU-8759542 , S2CID  234469903
4. Liepe; Filipos; Komorowski; Stumpf (2013), "Maximización del contenido de información de experimentos en biología de sistemas", PLOS Computational Biology , 9 (1): e1002888, Bibcode : 2013PLSCB...9E2888L, doi : 10.1371/journal.pcbi.1002888 , PMC 3561087 , PMID  23382663 
5. Lindley, DV (1956), "Sobre una medida de información proporcionada por un experimento", Annals of Mathematical Statistics , 27 (4): 986–1005, doi : 10.1214/aoms/1177728069
6. van den Berg; Curtis; Trampert (2003), "Diseño experimental bayesiano no lineal óptimo: una aplicación a experimentos de amplitud versus compensación", Geophysical Journal International , 155 (2): 411–421, Bibcode :2003GeoJI.155..411V, doi :10.1046/j.1365 -246x.2003.02048.x
7. Ryan, KJ (2003), "Estimación de las ganancias de información esperadas para diseños experimentales con aplicación al modelo aleatorio de límite de fatiga", Journal of Computational and Graphical Statistics , 12 (3): 585–603, doi :10.1198/1061860032012, S2CID  119889630
8. Bania, P. (2019), "Diseño de entrada bayesiano para la discriminación de modelos dinámicos lineales", Entropía , 21 (4): 351, Bibcode : 2019Entrp..21..351B, doi : 10.3390/e21040351 , PMC 7514835 , PMID  33267065 

Otras lecturas

• DasGupta, A. (1996), "Revisión de diseños óptimos de Bayes" (PDF) , en Ghosh, S.; Rao, CR (eds.), Diseño y análisis de experimentos , Manual de estadística, vol. 13, Holanda Septentrional, págs. 1099-1148, ISBN 978-0-444-82061-7
• Más adelante, Tom; et al. (2023), Diseño experimental bayesiano moderno , arXiv : 2302.14545