Diseño experimental bayesiano

El diseño experimental bayesiano proporciona un marco teórico de probabilidad general del que se pueden derivar otras teorías sobre el diseño experimental . Se basa en la inferencia bayesiana para interpretar las observaciones/datos adquiridos durante el experimento. Esto permite tener en cuenta tanto cualquier conocimiento previo sobre los parámetros que se van a determinar como las incertidumbres en las observaciones.

La teoría del diseño experimental bayesiano ^[1] se basa hasta cierto punto en la teoría de la toma de decisiones óptimas en condiciones de incertidumbre . El objetivo al diseñar un experimento es maximizar la utilidad esperada del resultado del experimento. La utilidad se define más comúnmente en términos de una medida de la precisión de la información proporcionada por el experimento (por ejemplo, la información de Shannon o el negativo de la varianza ), pero también puede involucrar factores como el costo financiero de realizar el experimento. Cuál será el diseño óptimo del experimento depende del criterio de utilidad particular elegido.

Relación con la teoría del diseño óptimo más especializada

Teoría lineal

Si el modelo es lineal, la función de densidad de probabilidad previa (PDF) es homogénea y los errores de observación se distribuyen normalmente , la teoría se simplifica a la teoría clásica del diseño experimental óptimo .

Normalidad aproximada

En numerosas publicaciones sobre diseño experimental bayesiano, se supone (a menudo de manera implícita) que todas las probabilidades posteriores serán aproximadamente normales. Esto permite calcular la utilidad esperada utilizando la teoría lineal, promediando sobre el espacio de parámetros del modelo. ^[2] Sin embargo, se debe tener cuidado al aplicar este método, ya que la normalidad aproximada de todas las probabilidades posteriores posibles es difícil de verificar, incluso en casos de errores de observación normales y probabilidad previa uniforme.

Distribución posterior

En muchos casos, la distribución posterior no está disponible en forma cerrada y debe aproximarse mediante métodos numéricos. El enfoque más común es utilizar métodos de Monte Carlo de cadena de Markov para generar muestras de la distribución posterior, que luego pueden usarse para aproximar la utilidad esperada.

Otro enfoque consiste en utilizar una aproximación bayesiana variacional de la variable posterior, que a menudo se puede calcular en forma cerrada. Este enfoque tiene la ventaja de ser computacionalmente más eficiente que los métodos de Monte Carlo, pero la desventaja de que la aproximación puede no ser muy precisa.

Algunos autores propusieron enfoques que utilizan la distribución predictiva posterior para evaluar el efecto de nuevas mediciones sobre la incertidumbre de la predicción, ^{[3] [4]} mientras que otros sugieren maximizar la información mutua entre parámetros, predicciones y posibles nuevos experimentos. ^[5]

Formulación matemática

Dado un vector de parámetros a determinar, una probabilidad previa sobre esos parámetros y una probabilidad de realizar la observación , dados los valores de los parámetros y un diseño de experimento , la probabilidad posterior se puede calcular utilizando el teorema de Bayes. ${\displaystyle \theta }$ ${\displaystyle p(\theta )}$ ${\displaystyle p(y\mid \theta ,\xi )}$ ${\displaystyle y}$ ${\displaystyle \theta }$ ${\displaystyle \xi }$

${\displaystyle p(\theta \mid y,\xi )={\frac {p(y\mid \theta ,\xi )p(\theta )}{p(y\mid \xi )}}\,,}$

¿Dónde está la densidad de probabilidad marginal en el espacio de observación? ${\displaystyle p(y\mid \xi )}$

${\displaystyle p(y\mid \xi )=\int p(\theta )p(y\mid \theta ,\xi )\,d\theta \,.}$

La utilidad esperada de un experimento con diseño se puede definir entonces ${\displaystyle \xi }$

${\displaystyle U(\xi )=\int p(y\mid \xi )U(y,\xi )\,dy,}$

donde es una función de valor real de la probabilidad posterior después de realizar la observación utilizando un diseño experimental . ${\displaystyle U(y,\xi )}$ ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$

Ganancia en la información de Shannon como utilidad

La utilidad puede definirse como la ganancia anterior-posterior en la información de Shannon.

${\displaystyle U(y,\xi )=\int \log(p(\theta \mid y,\xi ))\,p(\theta |y,\xi )\,d\theta -\int \log(p(\theta ))\,p(\theta )\,d\theta \,.}$

Otra posibilidad es definir la utilidad como

${\displaystyle U(y,\xi )=D_{KL}(p(\theta \mid y,\xi )\|p(\theta ))\,,}$

la divergencia de Kullback-Leibler de la distribución anterior respecto de la posterior. Lindley (1956) observó que la utilidad esperada será entonces independiente de las coordenadas y puede escribirse de dos formas

${\displaystyle {\begin{alignedat}{2}U(\xi )&=\int \int \log(p(\theta \mid y,\xi ))\,p(\theta ,y\mid \xi )\,d\theta \,dy-\int \log(p(\theta ))\,p(\theta )\,d\theta \\&=\int \int \log(p(y\mid \theta ,\xi ))\,p(\theta ,y\mid \xi )\,dy\,d\theta -\int \log(p(y\mid \xi ))\,p(y\mid \xi )\,dy,\end{alignedat}}\,}$

de los cuales este último puede evaluarse sin la necesidad de evaluar la probabilidad posterior individual para todas las observaciones posibles . ^[6] Vale la pena señalar que el segundo término en la segunda línea de ecuación no dependerá del diseño , siempre que la incertidumbre observacional no lo haga. Por otro lado, la integral de en la primera forma es constante para todos , por lo que si el objetivo es elegir el diseño con la mayor utilidad, no es necesario calcular el término en absoluto. Varios autores han considerado técnicas numéricas para evaluar y optimizar este criterio. ^{[7] [8]} Nótese que ${\displaystyle p(\theta \mid y,\xi )}$ ${\displaystyle y}$ ${\displaystyle \xi }$ ${\displaystyle p(\theta )\log p(\theta )}$ ${\displaystyle \xi }$

${\displaystyle U(\xi )=I(\theta ;y)\,,}$

la ganancia de información esperada es exactamente la información mutua entre el parámetro θ y la observación y . En Bania (2019) se ofrece un ejemplo de diseño bayesiano para la discriminación de modelos dinámicos lineales. ^[9] Dado que era difícil de calcular, se ha utilizado su límite inferior como función de utilidad. Luego, el límite inferior se maximiza bajo la restricción de energía de la señal. El diseño bayesiano propuesto también se ha comparado con el diseño D-óptimo promedio clásico. Se demostró que el diseño bayesiano es superior al diseño D-óptimo. ${\displaystyle I(\theta ;y)\,,}$

El criterio de Kelly también describe una función de utilidad para un jugador que busca maximizar sus ganancias, que se utiliza en la teoría de los juegos de azar y de la información ; la situación de Kelly es idéntica a la anterior, con la información secundaria o "cable privado" tomando el lugar del experimento.

Véase también

• Optimización bayesiana
• Diseño óptimo
• Aprendizaje activo
• Valor esperado de la información de la muestra

Referencias

1. Lee, Se Yoon (2024). "Uso de estadísticas bayesianas en ensayos clínicos confirmatorios en el ámbito regulatorio: una revisión tutorial". BMC Med Res Methodol . 24 (1): 110. doi : 10.1186/s12874-024-02235-0 . PMC  11077897 . PMID  38714936.
2. Un enfoque revisado en Chaloner, Kathryn; Verdinelli, Isabella (1995), "Diseño experimental bayesiano: una revisión" (PDF) , Statistical Science , 10 (3): 273–304, doi : 10.1214/ss/1177009939
3. Vanlier; Tiemann; Hilbers; van Riel (2012), "Un enfoque bayesiano para el diseño de experimentos específicos", Bioinformática , 28 (8): 1136–1142, doi :10.1093/bioinformatics/bts092, PMC 3324513 , PMID  22368245 
4. Thibaut; Laloy; Hermans (2021), "Un nuevo marco para el diseño experimental utilizando el aprendizaje evidencial bayesiano: el caso del área de protección de la boca del pozo", Journal of Hydrology , 603 : 126903, arXiv : 2105.05539 , Bibcode :2021JHyd..60326903T, doi :10.1016/j.jhydrol.2021.126903, hdl : 1854/LU-8759542 , S2CID  234469903
5. Liepe; Filippi; Komorowski; Stumpf (2013), "Maximización del contenido de información de experimentos en biología de sistemas", PLOS Computational Biology , 9 (1): e1002888, Bibcode :2013PLSCB...9E2888L, doi : 10.1371/journal.pcbi.1002888 , PMC 3561087 , PMID  23382663 
6. Lindley, DV (1956), "Sobre una medida de información proporcionada por un experimento", Annals of Mathematical Statistics , 27 (4): 986–1005, doi : 10.1214/aoms/1177728069
7. van den Berg; Curtis; Trampert (2003), "Diseño experimental bayesiano no lineal óptimo: una aplicación a los experimentos de amplitud versus desplazamiento", Geophysical Journal International , 155 (2): 411–421, Bibcode :2003GeoJI.155..411V, doi : 10.1046/j.1365-246x.2003.02048.x
8. Ryan, KJ (2003), "Estimación de ganancias de información esperadas para diseños experimentales con aplicación al modelo de límite de fatiga aleatoria", Journal of Computational and Graphical Statistics , 12 (3): 585–603, doi :10.1198/1061860032012, S2CID  119889630
9. Bania, P. (2019), "Diseño de entrada bayesiano para la discriminación de modelos dinámicos lineales", Entropy , 21 (4): 351, Bibcode :2019Entrp..21..351B, doi : 10.3390/e21040351 , PMC 7514835 , PMID  33267065 

Lectura adicional

• DasGupta, A. (1996), "Revisión de diseños bayesianos óptimos" (PDF) , en Ghosh, S.; Rao, CR (eds.), Diseño y análisis de experimentos , Handbook of Statistics, vol. 13, North-Holland, págs. 1099–1148, ISBN 978-0-444-82061-7
• Rainforth, Tom; et al. (2023), Diseño experimental bayesiano moderno , arXiv : 2302.14545