La verificación y validación de los modelos de simulación por ordenador se lleva a cabo durante el desarrollo de un modelo de simulación con el objetivo final de producir un modelo preciso y creíble. [1] [2] "Los modelos de simulación se utilizan cada vez más para resolver problemas y ayudar en la toma de decisiones. Los desarrolladores y usuarios de estos modelos, los encargados de la toma de decisiones que utilizan la información obtenida de los resultados de estos modelos y los individuos afectados por las decisiones basadas en dichos modelos están todos preocupados con razón por si un modelo y sus resultados son "correctos". [3] Esta preocupación se aborda mediante la verificación y validación del modelo de simulación.
Los modelos de simulación son imitaciones aproximadas de sistemas del mundo real y nunca imitan exactamente el sistema del mundo real. Por ello, un modelo debe ser verificado y validado en la medida necesaria para el propósito o la aplicación previstos del modelo. [3]
La verificación y validación de un modelo de simulación comienza después de que se han documentado las especificaciones funcionales y se ha completado el desarrollo inicial del modelo. [4] La verificación y validación es un proceso iterativo que se lleva a cabo durante todo el desarrollo de un modelo. [1] [4]
En el contexto de la simulación por ordenador, la verificación de un modelo es el proceso de confirmar que se ha implementado correctamente con respecto al modelo conceptual (que cumple con las especificaciones y suposiciones consideradas aceptables para el propósito de aplicación dado). [1] [4] Durante la verificación, el modelo se prueba para encontrar y corregir errores en la implementación del modelo. [4] Se utilizan varios procesos y técnicas para asegurar que el modelo cumpla con las especificaciones y suposiciones con respecto al concepto del modelo. El objetivo de la verificación del modelo es asegurar que la implementación del modelo sea correcta.
Existen muchas técnicas que se pueden utilizar para verificar un modelo. Estas incluyen, entre otras, hacer que un experto verifique el modelo, hacer diagramas de flujo lógico que incluyan cada acción lógicamente posible, examinar la salida del modelo para comprobar su razonabilidad en una variedad de configuraciones de los parámetros de entrada y usar un depurador interactivo. [1] Muchas técnicas de ingeniería de software utilizadas para la verificación de software son aplicables a la verificación de modelos de simulación. [1]
La validación comprueba la precisión de la representación del modelo del sistema real. La validación del modelo se define como "la confirmación de que un modelo informático, dentro de su dominio de aplicabilidad, posee un rango satisfactorio de precisión coherente con la aplicación prevista del modelo". [3] Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito. [3]
Existen muchos métodos que se pueden utilizar para validar un modelo informático. Estos métodos van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un método que se utiliza habitualmente es que los creadores del modelo determinen la validez del modelo mediante una serie de pruebas. [3]
Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación de modelos que ha sido ampliamente seguido: [1]
Paso 1. Construya un modelo que tenga alta validez aparente.
Paso 2. Validar los supuestos del modelo.
Paso 3. Compare las transformaciones de entrada-salida del modelo con las transformaciones de entrada-salida correspondientes para el sistema real. [5]
Un modelo que tiene validez aparente parece ser una imitación razonable de un sistema del mundo real para las personas que conocen el sistema del mundo real. [4] La validez aparente se prueba haciendo que los usuarios y las personas conocedoras del sistema examinen la salida del modelo para verificar su razonabilidad y, en el proceso, identifiquen deficiencias. [1] Una ventaja adicional de tener a los usuarios involucrados en la validación es que la credibilidad del modelo para los usuarios y la confianza del usuario en el modelo aumentan. [1] [4] La sensibilidad a las entradas del modelo también se puede utilizar para juzgar la validez aparente. [1] Por ejemplo, si se ejecutara dos veces una simulación de un drive-thru de un restaurante de comida rápida con tasas de llegada de clientes de 20 por hora y 40 por hora, se esperaría que las salidas del modelo, como el tiempo de espera promedio o el número máximo de clientes en espera, aumentaran con la tasa de llegada.
Las suposiciones que se hacen sobre un modelo generalmente se dividen en dos categorías: suposiciones estructurales sobre cómo funciona el sistema y suposiciones sobre los datos. También podemos considerar las suposiciones de simplificación, que son aquellas que utilizamos para simplificar la realidad. [6]
Las suposiciones que se hacen sobre cómo funciona el sistema y cómo está organizado físicamente son suposiciones estructurales. Por ejemplo, ¿cuántos camareros hay en un carril de comida rápida para llevar y, si hay más de uno, cómo se utilizan? ¿Los camareros trabajan en paralelo, de modo que un cliente completa una transacción visitando un solo camarero, o un camarero toma los pedidos y se encarga del pago mientras el otro prepara y sirve el pedido? Muchos de los problemas estructurales del modelo se deben a suposiciones deficientes o incorrectas. [4] Si es posible, se debe observar de cerca el funcionamiento del sistema real para comprender cómo funciona. [4] La estructura y el funcionamiento de los sistemas también se deben verificar con los usuarios del sistema real. [1]
Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validarlo. La falta de datos apropiados es a menudo la razón por la que fallan los intentos de validar un modelo. [3] Se debe verificar que los datos provengan de una fuente confiable. Un error típico es asumir una distribución estadística inapropiada para los datos. [1] El modelo estadístico asumido debe probarse utilizando pruebas de bondad de ajuste y otras técnicas. [1] [3] Algunos ejemplos de pruebas de bondad de ajuste son la prueba de Kolmogorov-Smirnov y la prueba de chi-cuadrado . Se deben verificar todos los valores atípicos en los datos. [3]
Son aquellos supuestos que sabemos que no son ciertos, pero que son necesarios para simplificar el problema que queremos resolver. [6] El uso de estos supuestos debe restringirse para asegurar que el modelo sea lo suficientemente correcto para servir como respuesta al problema que queremos resolver.
El modelo se considera como una transformación de entrada-salida para estas pruebas. La prueba de validación consiste en comparar las salidas del sistema en consideración con las salidas del modelo para el mismo conjunto de condiciones de entrada. Los datos registrados mientras se observa el sistema deben estar disponibles para realizar esta prueba. [3] La salida del modelo que es de interés principal debe usarse como medida de rendimiento. [1] Por ejemplo, si el sistema en consideración es un drive-thru de comida rápida donde la entrada al modelo es el tiempo de llegada del cliente y la medida de salida del rendimiento es el tiempo promedio del cliente en la fila, entonces se registraría el tiempo real de llegada y el tiempo que los clientes pasan en la fila en el drive-thru. El modelo se ejecutaría con los tiempos de llegada reales y el tiempo promedio del modelo en la fila se compararía con el tiempo promedio real que pasan en la fila usando una o más pruebas.
La prueba de hipótesis estadística mediante la prueba t puede utilizarse como base para aceptar el modelo como válido o rechazarlo por inválido.
La hipótesis a probar es
versus
La prueba se realiza para un tamaño de muestra determinado y un nivel de significancia o α. Para realizar la prueba, se realizan n ejecuciones estadísticamente independientes del modelo y se produce un valor promedio o esperado, E(Y), para la variable de interés. Luego, se calcula la estadística de prueba, t 0, para el α, n , E(Y) dados y el valor observado para el sistema μ 0
Si
Rechace H 0 , el modelo necesita ajuste.
Existen dos tipos de error que pueden ocurrir al realizar pruebas de hipótesis: rechazar un modelo válido, denominado error de tipo I o "riesgo del constructor del modelo", y aceptar un modelo inválido, denominado error de tipo II, β, o "riesgo del usuario del modelo". [3] El nivel de significancia o α es igual a la probabilidad de error de tipo I. [3] Si α es pequeño, entonces rechazar la hipótesis nula es una conclusión sólida. [1] Por ejemplo, si α = 0,05 y se rechaza la hipótesis nula, solo hay una probabilidad de 0,05 de rechazar un modelo válido. Disminuir la probabilidad de un error de tipo II es muy importante. [1] [3] La probabilidad de detectar correctamente un modelo inválido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y de la diferencia real entre el valor de la muestra y el valor observado. Aumentar el tamaño de la muestra disminuye el riesgo de un error de tipo II.
Recientemente se ha desarrollado una técnica estadística en la que la cantidad de precisión del modelo se especifica como un rango. La técnica utiliza pruebas de hipótesis para aceptar un modelo si la diferencia entre la variable de interés de un modelo y la variable de interés de un sistema está dentro de un rango de precisión especificado. [7] Un requisito es que tanto los datos del sistema como los datos del modelo sean aproximadamente normalmente independientes e idénticamente distribuidos (NIID) . La estadística de prueba t se utiliza en esta técnica. Si la media del modelo es μ m y la media del sistema es μ s , entonces la diferencia entre el modelo y el sistema es D = μ m - μ s . La hipótesis a probar es si D está dentro del rango aceptable de precisión. Sea L = el límite inferior de precisión y U = el límite superior de precisión. Entonces
versus
debe ser probado.
La curva de característica operativa (OC) es la probabilidad de que se acepte la hipótesis nula cuando es verdadera. La curva OC caracteriza las probabilidades de errores de tipo I y II. Las curvas de riesgo para el riesgo del creador del modelo y el riesgo del usuario del modelo se pueden desarrollar a partir de las curvas OC. La comparación de curvas con compensaciones de tamaño de muestra fijo entre el riesgo del creador del modelo y el riesgo del usuario del modelo se puede ver fácilmente en las curvas de riesgo. [7] Si se especifican el riesgo del creador del modelo, el riesgo del usuario del modelo y los límites superior e inferior para el rango de precisión, se puede calcular el tamaño de muestra necesario. [7]
Los intervalos de confianza se pueden utilizar para evaluar si un modelo es "suficientemente cercano" [1] a un sistema para alguna variable de interés. La diferencia entre el valor conocido del modelo, μ 0 , y el valor del sistema, μ, se verifica para ver si es menor que un valor lo suficientemente pequeño como para que el modelo sea válido con respecto a esa variable de interés. El valor se denota con el símbolo ε. Para realizar la prueba, se realizan un número, n , ejecuciones estadísticamente independientes del modelo y se produce un valor medio o esperado, E(Y) o μ para la variable de salida de simulación de interés Y, con una desviación estándar S. Se selecciona un nivel de confianza, 100(1-α). Se construye un intervalo, [a,b], mediante
dónde
es el valor crítico de la distribución t para el nivel de significancia dado y n-1 grados de libertad.
Si no se pueden satisfacer los supuestos estadísticos o no hay suficientes datos para el sistema, se pueden utilizar comparaciones gráficas de los resultados del modelo con los del sistema para tomar decisiones subjetivas; sin embargo, son preferibles otras pruebas objetivas. [3]
El Comité de Verificación y Validación (V&V) de la Sociedad Estadounidense de Ingenieros Mecánicos (ASME) desarrolla documentos y estándares que involucran la verificación y validación de modelos computacionales y simulación . ASME V&V 10 proporciona orientación para evaluar y aumentar la credibilidad de los modelos computacionales de mecánica de sólidos a través de los procesos de verificación, validación y cuantificación de la incertidumbre. [8] ASME V&V 10.1 proporciona un ejemplo detallado para ilustrar los conceptos descritos en ASME V&V 10. [9] ASME V&V 20 proporciona una metodología detallada para validar simulaciones computacionales aplicadas a la dinámica de fluidos y la transferencia de calor. [10] ASME V&V 40 proporciona un marco para establecer requisitos de credibilidad de modelos para el modelado computacional y presenta ejemplos específicos en la industria de dispositivos médicos. [11]
