Kriging mejorado con gradiente

Modelo de predicción utilizado en ingeniería

El kriging mejorado por gradiente ( GEK ) es una técnica de modelado sustituto que se utiliza en ingeniería. Un modelo sustituto (también conocido como metamodelo , superficie de respuesta o emulador) es una predicción del resultado de un código informático costoso. ^[1] Esta predicción se basa en una pequeña cantidad de evaluaciones del código informático costoso.

Introducción

Ejemplo de datos unidimensionales interpolados mediante Kriging y GEK. La línea negra indica la función de prueba, mientras que los círculos grises indican "observaciones", "muestras" o "evaluaciones" de la función de prueba. La línea azul es la media de Kriging, el área azul sombreada ilustra la desviación estándar de Kriging. Con GEK podemos agregar la información del gradiente, ilustrada en rojo, lo que aumenta la precisión de la predicción.

Los solucionadores adjuntos están ahora disponibles en una variedad de solucionadores de dinámica de fluidos computacional (CFD), como Fluent , OpenFOAM , SU2 y US3D. Originalmente desarrollados para la optimización , los solucionadores adjuntos ahora se utilizan cada vez más en la cuantificación de la incertidumbre .

Aceleración lineal

Un solucionador adjunto permite calcular el gradiente de la cantidad de interés con respecto a todos los parámetros de diseño a costa de una solución adicional. Esto, potencialmente, conduce a una aceleración lineal : el costo computacional de construir una disminución sustitutiva precisa y la aceleración computacional resultante se escala linealmente con la cantidad de parámetros de diseño. ${\displaystyle s}$ ${\displaystyle d}$

El razonamiento detrás de esta aceleración lineal es sencillo. Supongamos que ejecutamos resoluciones primarias y resoluciones adjuntas, con un costo total de . Esto da como resultado datos; valores para la cantidad de interés y derivadas parciales en cada uno de los gradientes. Ahora supongamos que cada derivada parcial proporciona tanta información para nuestro sustituto como una única resolución primaria. Entonces, el costo total de obtener la misma cantidad de información solo de resoluciones primarias es . La aceleración es la relación de estos costos: ^{[2] [3]} ${\displaystyle N}$ ${\displaystyle N}$ ${\displaystyle 2N}$ ${\displaystyle N+dN}$ ${\displaystyle N}$ ${\displaystyle d}$ ${\displaystyle N}$ ${\displaystyle N+dN}$

${\displaystyle s={\frac {N+dN}{2N}}={\frac {1}{2}}+{\frac {1}{2}}d.}$

Se ha demostrado una aceleración lineal para un problema de interacción fluido-estructura ^[2] y para un perfil aerodinámico transónico . ^[3]

Ruido

Un problema con los gradientes basados ​​en adjuntos en CFD es que pueden ser particularmente ruidosos . ^{[4] [5]} Cuando se deriva en un marco bayesiano , GEK permite incorporar no solo la información del gradiente, sino también la incertidumbre en esa información del gradiente. ^[6]

Acercarse

Al utilizar GEK se deben seguir los siguientes pasos:

1. Crear un diseño de experimento (DoE): El DoE o "plan de muestreo" es una lista de diferentes ubicaciones en el espacio de diseño. El DoE indica qué combinaciones de parámetros se utilizarán para muestrear la simulación por computadora. Con Kriging y GEK, una opción común es utilizar un diseño de hipercubo latino (LHS) con un criterio de "maximización". El diseño LHS está disponible en códigos de programación como MATLAB o Python .
2. Realizar observaciones: Para cada muestra en nuestro DoE se ejecuta la simulación por computadora para obtener la Cantidad de Interés (QoI).
3. Construir el sustituto: se utilizan las ecuaciones de predicción GEK para construir el sustituto condicional a las observaciones obtenidas.

Una vez construido el sustituto, se puede utilizar de diferentes maneras, por ejemplo, para la cuantificación de incertidumbre basada en sustitutos (UQ) o la optimización .

Ecuaciones predictoras

En un marco bayesiano , utilizamos el teorema de Bayes para predecir la media y la covarianza de Kriging en función de las observaciones. Cuando utilizamos GEK, las observaciones suelen ser el resultado de una serie de simulaciones por ordenador. GEK puede interpretarse como una forma de regresión de proceso gaussiano .

Kriging

En la línea de ^[7], nos interesa el resultado de nuestra simulación por computadora, para la cual asumimos la distribución de probabilidad previa normal : ${\displaystyle X}$

${\displaystyle X\sim {\mathcal {N}}(\mu ,P),}$

con media previa y matriz de covarianza previa . Las observaciones tienen la verosimilitud normal : ${\displaystyle \mu }$ ${\displaystyle P}$ ${\displaystyle y}$

${\displaystyle Y\mid x\sim {\mathcal {N}}(Hx,R),}$

con la matriz de observación y la matriz de covarianza de errores de observación, que contiene las incertidumbres de la observación . Después de aplicar el teorema de Bayes obtenemos una distribución de probabilidad posterior normalmente distribuida , con media de Kriging: ${\displaystyle H}$ ${\displaystyle R}$

${\displaystyle \operatorname {E} (X\mid y)=\mu +K(y-H\mu ),}$

y covarianza Kriging:

${\displaystyle \operatorname {cov} (X\mid y)=(I-KH)P,}$

donde tenemos la matriz de ganancia:

${\displaystyle K=PH^{T}(R+HPH^{T})^{-1}.}$

En Kriging, la matriz de covarianza previa se genera a partir de una función de covarianza. Un ejemplo de una función de covarianza es la covarianza gaussiana: ${\displaystyle P}$

${\displaystyle P_{ij}=\sigma ^{2}\exp \left(-\sum _{k}{\frac {|\xi _{jk}-\xi _{ik}|^{2}}{2\theta _{k}^{2}}}\right),}$

donde sumamos las dimensiones y son los parámetros de entrada. Los hiperparámetros , y pueden estimarse a partir de una estimación de máxima verosimilitud (MLE). ^{[6] [8] [9]} ${\displaystyle k}$ ${\displaystyle \xi }$ ${\displaystyle \mu }$ ${\displaystyle \sigma }$ ${\displaystyle \theta }$

GEK indirecto

Existen varias formas de implementar GEK. El primer método, GEK indirecto, define un tamaño de paso pequeño pero finito y utiliza la información del gradiente para agregar datos sintéticos a las observaciones ; consulte, por ejemplo, ^[8] . El Kriging indirecto es sensible a la elección del tamaño del paso y no puede incluir incertidumbres de observación . ${\displaystyle h}$ ${\displaystyle y}$ ${\displaystyle h}$

GEK directa (a través de la matriz de covarianza previa)

La GEK directa es una forma de co-Kriging, donde agregamos la información del gradiente como covariables. Esto se puede hacer modificando la covarianza previa o modificando la matriz de observación ; ambos enfoques conducen al mismo predictor GEK. Cuando construimos GEK directa a través de la matriz de covarianza previa, agregamos las derivadas parciales a , y modificamos la matriz de covarianza previa de modo que también contenga las derivadas (y las segundas derivadas) de la función de covarianza, véase por ejemplo ^[10] . ^[6] Las principales ventajas de la GEK directa sobre la GEK indirecta son: 1) no tenemos que elegir un tamaño de paso, 2) podemos incluir incertidumbres de observación para los gradientes en , y 3) es menos susceptible a un mal condicionamiento de la matriz de ganancia . ^{[6] [8]} ${\displaystyle P}$ ${\displaystyle H}$ ${\displaystyle y}$ ${\displaystyle P}$ ${\displaystyle R}$ ${\displaystyle K}$

GEK directo (a través de matriz de observación)

Otra forma de llegar al mismo predictor GEK directo es agregar las derivadas parciales a las observaciones e incluir operadores de derivadas parciales en la matriz de observación , véase por ejemplo. ^[11] ${\displaystyle y}$ ${\displaystyle H}$

Kriging mejorado por gradiente para problemas de alta dimensión (método indirecto)

Los métodos actuales de kriging mejorados por gradiente no escalan bien con el número de puntos de muestreo debido al rápido crecimiento del tamaño de la matriz de correlación, donde se agrega nueva información para cada punto de muestreo en cada dirección del espacio de diseño. Además, no escalan bien con el número de variables independientes debido al aumento en el número de hiperparámetros que deben estimarse. Para abordar este problema, se desarrolló un nuevo enfoque de modelo sustituto mejorado por gradiente que redujo drásticamente el número de hiperparámetros mediante el uso del método de mínimos cuadrados parciales que mantiene la precisión. Además, este método puede controlar el tamaño de la matriz de correlación agregando solo puntos relevantes definidos a través de la información proporcionada por el método de mínimos cuadrados parciales. Para obtener más detalles, consulte. ^[12] Este enfoque se implementa en Surrogate Modeling Toolbox (SMT) en Python (https://github.com/SMTorg/SMT), y se ejecuta en Linux, macOS y Windows. SMT se distribuye bajo la licencia New BSD.

Kriging mejorado con gradiente aumentado (método directo)

^{En [9]} se propone un marco aumentado universal para añadir derivadas de cualquier orden a las observaciones. Este método puede considerarse como una generalización de GEK directa que tiene en cuenta derivadas de orden superior. Además, no es necesario que las observaciones y las derivadas se midan en la misma ubicación en este marco.

Ejemplo: Coeficiente de arrastre de un perfil aerodinámico transónico

Perfil aerodinámico transónico.

Resultados de referencia para el coeficiente de resistencia aerodinámica de un perfil aerodinámico transónico, basados ​​en un gran número de simulaciones de CFD. Los ejes horizontal y vertical muestran la deformación de la forma del perfil aerodinámico.

Modelo sustituto de Kriging del coeficiente de arrastre de un perfil aerodinámico transónico. Los puntos grises indican las configuraciones para las que se ejecutó el solucionador de CFD.

Modelo sustituto GEK del coeficiente de arrastre de un perfil aerodinámico transónico. Los puntos grises indican las configuraciones para las que se ejecutó el solucionador CFD, las flechas indican los gradientes.

Como ejemplo, considere el flujo sobre un perfil aerodinámico transónico . ^[3] El perfil aerodinámico está operando a un número de Mach de 0,8 y un ángulo de ataque de 1,25 grados. Suponemos que la forma del perfil aerodinámico es incierta; la parte superior e inferior del perfil aerodinámico podrían haberse desplazado hacia arriba o hacia abajo debido a las tolerancias de fabricación. En otras palabras, la forma del perfil aerodinámico que estamos utilizando podría ser ligeramente diferente del perfil aerodinámico que diseñamos.

A la derecha, vemos los resultados de referencia para el coeficiente de resistencia aerodinámica del perfil aerodinámico, basados ​​en un gran número de simulaciones de CFD. Nótese que la resistencia aerodinámica más baja, que corresponde al rendimiento "óptimo", está cerca del diseño "de referencia" no deformado del perfil aerodinámico en (0,0).

Después de diseñar un plan de muestreo (indicado por los puntos grises) y ejecutar el solucionador de CFD en esas ubicaciones de muestreo, obtenemos el modelo sustituto de Kriging. El sustituto de Kriging está cerca de la referencia, pero quizás no tanto como desearíamos.

En la última figura, hemos mejorado la precisión de este modelo sustituto al incluir la información de gradiente basada en adjuntos, indicada por las flechas, y aplicar GEK.

Aplicaciones

GEK ha encontrado las siguientes aplicaciones:

• 1993: Problema de diseño para una función de prueba de un modelo de pozo. ^[13]
• 2002: Diseño aerodinámico de un avión comercial supersónico. ^[14]
• 2008: Cuantificación de la incertidumbre para un perfil aerodinámico transónico con parámetros de forma inciertos. ^[10]
• 2009: Cuantificación de la incertidumbre para un perfil aerodinámico transónico con parámetros de forma inciertos. ^[8]
• 2012: Construcción de un modelo sustituto para un problema de divergencia de paneles, un problema de interacción fluido-estructura . Demostración de una aceleración lineal. ^[2]
• 2013: Cuantificación de la incertidumbre para un perfil aerodinámico transónico con ángulo de ataque y número de Mach inciertos. ^[15]
• 2014: Cuantificación de la incertidumbre para la simulación RANS de un perfil aerodinámico, con los parámetros del modelo de turbulencia k-epsilon como entradas inciertas. ^[6]
• 2015: Cuantificación de la incertidumbre para la simulación de Euler de un perfil aerodinámico transónico con parámetros de forma inciertos. Demostración de una aceleración lineal. ^[3]
• 2016: Construcción de un modelo sustituto para dos problemas de interacción fluido-estructura . ^[16]
• 2017: Amplia revisión de modelos sustitutos mejorados por gradiente que incluye muchos detalles sobre el kriging mejorado por gradiente. ^[17]
• 2017: Propagación de incertidumbre para un sistema de energía nuclear. ^[18]
• 2020: Optimización de la geometría molecular. ^[19]

Referencias

1. Mitchell, M.; Morris, M. (1992). "Diseño y análisis bayesiano de experimentos informáticos: dos ejemplos" (PDF) . Statistica Sinica (2): 359–379.
2. de Baar, JHS; Scholcz, TP; Verhoosel, CV; Dwight, RP; van Zuijlen, AH; Bijl, H. (2012). "Cuantificación eficiente de la incertidumbre con Kriging mejorado con gradiente: aplicaciones en FSI" (PDF) . ECCOMAS, Viena, Austria, 10 al 14 de septiembre .
3. de Baar, JHS; Scholcz, TP; Dwight, RP (2015). "Explotación de derivadas adjuntas en metamodelos de alta dimensión". AIAA Journal . 53 (5): 1391–1395. Bibcode :2015AIAAJ..53.1391D. doi :10.2514/1.J053678.
4. Dwight, R.; Brezillon, J. (2006). "Efecto de las aproximaciones del adjunto discreto en la optimización basada en gradientes". AIAA Journal . 44 (12): 3022–3031. Bibcode :2006AIAAJ..44.3022D. CiteSeerX 10.1.1.711.4761 . doi :10.2514/1.21744. 
5. Giles, M.; Duta, M.; Muller, J.; Pierce, N. (2003). "Desarrollos de algoritmos para métodos adjuntos discretos". AIAA Journal . 41 (2): 198–205. Bibcode :2003AIAAJ..41..198G. doi :10.2514/2.1961. S2CID  2106397.
6. de Baar, JHS; Dwight, RP; Bijl, H. (2014). "Mejoras en el Kriging mejorado por gradiente utilizando una interpretación bayesiana". Revista internacional de cuantificación de la incertidumbre . 4 (3): 205–223. doi : 10.1615/Int.J.UncertaintyQuantification.2013006809 .
7. Wikle, CK; Berliner, LM (2007). "Un tutorial bayesiano para la asimilación de datos". Physica D . 230 (1–2): 1–16. Bibcode :2007PhyD..230....1W. doi :10.1016/j.physd.2006.09.017.
8. Dwight, RP; Han, Z.-H. (2009). Cuantificación eficiente de la incertidumbre mediante Kriging mejorado por gradiente (PDF) . doi :10.2514/6.2009-2276. ISBN. 978-1-60086-975-4. Número de identificación del sujeto  59019628. {{cite book}}: |journal=ignorado ( ayuda )
9. Zhang, Sheng; Yang, Xiu; Tindel, Samy; Lin, Guang (2021). "Campo aleatorio gaussiano aumentado: teoría y cálculo". Sistemas dinámicos discretos y continuos - S. 15 (4): 931. arXiv : 2009.01961 . doi : 10.3934/dcdss.2021098. S2CID  221507566.
10. Laurenceau, J.; Sagaut, P. (2008). "Construcción de superficies de respuesta eficientes de funciones aerodinámicas con Kriging y coKriging". AIAA Journal . 46 (2): 498–507. Bibcode :2008AIAAJ..46..498L. doi :10.2514/1.32308. S2CID  17895486.
11. de Baar, JHS (2014). "Sustitutos estocásticos para mediciones y modelos informáticos de fluidos". Tesis doctoral, Universidad Tecnológica de Delft : 99–101.
12. Bouhlel, MA; Martins, JRRA (2018). "Kriging mejorado por gradiente para problemas de alta dimensión". Ingeniería con computadoras . 35 : 157–173. arXiv : 1708.02663 . doi :10.1007/s00366-018-0590-x. S2CID  3540630.
13. Morris, MD; Mitchell, TJ; Ylvisaker, D. (1993). "Diseño y análisis bayesiano de experimentos informáticos: uso de derivadas en la predicción de superficies". Technometrics . 35 (3): 243–255. doi :10.1080/00401706.1993.10485320.
14. Chung, H.-S.; Alonso, JJ (2002). "Uso de gradientes para construir modelos de aproximación de cokriging para problemas de optimización de diseño de alta dimensión". AIAA 40th Aerospace Sciences Meeting and Exhibit : 2002–0317. CiteSeerX 10.1.1.12.4149 . doi :10.2514/6.2002-317. 
15. Han, Z.-H.; Gortz, S.; Zimmermann, R. (2013). "Mejora del modelado de sustitutos de fidelidad variable mediante kriging mejorado por gradiente y una función puente híbrida generalizada". Ingeniería con computadoras . 32 (1): 15–34. doi :10.1016/j.ast.2012.01.006.
16. Ulaganathan, S.; Couckuyt, I.; Dhaene, T.; Degroote, J.; Laermans, E. (2016). "Estudio del rendimiento del Kriging mejorado por gradiente". Ciencia y tecnología aeroespacial . 25 (1): 177–189.
17. Laurent, L.; Le Riche, R.; Soulier, B.; Boucard, P.-A. (2017). "Una descripción general de los metamodelos mejorados por gradientes con aplicaciones" (PDF) . Archivos de métodos computacionales en ingeniería . 26 : 1–46. doi :10.1007/s11831-017-9226-3. S2CID  54625655.
18. Lockwood, BA; Anitescu, M. (2012). "Kriging universal mejorado por gradiente para propagación de incertidumbre" (PDF) . Ciencia nuclear e ingeniería . 170 (2): 168–195. CiteSeerX 10.1.1.187.6097 . doi :10.13182/NSE10-86. S2CID  18465024. 
19. Raggi, G.; Fdez. Galván, I.; Ritterhoff, CL; Vacher, M.; Lindh, R. (2020). "Optimización de geometría molecular de varianza restringida basada en kriging mejorado por gradiente". Journal of Chemical Theory and Computation . 16 (6): 3989–4001. doi : 10.1021/acs.jctc.0c00257 . PMC 7304864 . PMID  32374164.