La verificación y validación de los modelos de simulación por computadora se lleva a cabo durante el desarrollo de un modelo de simulación con el objetivo final de producir un modelo preciso y creíble. [1] [2] "Los modelos de simulación se utilizan cada vez más para resolver problemas y ayudar en la toma de decisiones. Los desarrolladores y usuarios de estos modelos, los tomadores de decisiones que utilizan la información obtenida de los resultados de estos modelos y los individuos afectados por Las decisiones basadas en tales modelos están todas relacionadas con si un modelo y sus resultados son "correctos" [3] . Esta preocupación se aborda mediante la verificación y validación del modelo de simulación.
Los modelos de simulación son imitaciones aproximadas de sistemas del mundo real y nunca imitan exactamente el sistema del mundo real. Debido a esto, un modelo debe verificarse y validarse en el grado necesario para el propósito o aplicación previsto del modelo. [3]
La verificación y validación de un modelo de simulación comienza después de que se han documentado las especificaciones funcionales y se ha completado el desarrollo inicial del modelo. [4] La verificación y validación es un proceso iterativo que tiene lugar durante todo el desarrollo de un modelo. [1] [4]
En el contexto de la simulación por computadora, la verificación de un modelo es el proceso de confirmar que está implementado correctamente con respecto al modelo conceptual (coincide con las especificaciones y supuestos considerados aceptables para el propósito de aplicación dado). [1] [4] Durante la verificación, el modelo se prueba para encontrar y corregir errores en la implementación del modelo. [4] Se utilizan varios procesos y técnicas para garantizar que el modelo coincida con las especificaciones y suposiciones con respecto al concepto del modelo. El objetivo de la verificación del modelo es garantizar que la implementación del modelo sea correcta.
Hay muchas técnicas que se pueden utilizar para verificar un modelo. Estos incluyen, entre otros, hacer que un experto revise el modelo, hacer diagramas de flujo lógicos que incluyan cada acción lógicamente posible, examinar la razonabilidad de la salida del modelo bajo una variedad de configuraciones de los parámetros de entrada y usar un depurador interactivo. [1] Muchas técnicas de ingeniería de software utilizadas para la verificación de software son aplicables a la verificación del modelo de simulación. [1]
La validación verifica la precisión de la representación del modelo del sistema real. La validación del modelo se define como "la confirmación de que un modelo computarizado dentro de su dominio de aplicabilidad posee un rango satisfactorio de precisión consistente con la aplicación prevista del modelo". [3] Un modelo debe construirse para un propósito específico o un conjunto de objetivos y su validez debe determinarse para ese propósito. [3]
Hay muchos enfoques que se pueden utilizar para validar un modelo informático. Los enfoques van desde revisiones subjetivas hasta pruebas estadísticas objetivas. Un enfoque que se utiliza comúnmente es hacer que los constructores del modelo determinen la validez del modelo mediante una serie de pruebas. [3]
Naylor y Finger [1967] formularon un enfoque de tres pasos para la validación de modelos que ha sido ampliamente seguido: [1]
Paso 1. Construya un modelo que tenga una alta validez aparente.
Paso 2. Validar los supuestos del modelo.
Paso 3. Compare las transformaciones de entrada-salida del modelo con las transformaciones de entrada-salida correspondientes para el sistema real. [5]
Un modelo que tiene validez aparente parece ser una imitación razonable de un sistema del mundo real para las personas que conocen el sistema del mundo real. [4] La validez aparente se prueba haciendo que los usuarios y las personas con conocimientos del sistema examinen la razonabilidad de los resultados del modelo y en el proceso identifiquen deficiencias. [1] Una ventaja adicional de tener a los usuarios involucrados en la validación es que aumenta la credibilidad del modelo para los usuarios y la confianza del usuario en el modelo. [1] [4] La sensibilidad a las entradas del modelo también se puede utilizar para juzgar la validez aparente. [1] Por ejemplo, si se ejecutara dos veces una simulación de un restaurante de comida rápida con tasas de llegada de clientes de 20 por hora y 40 por hora, se esperaría que aumentaran los resultados del modelo, como el tiempo de espera promedio o el número máximo de clientes en espera. con la tasa de llegada.
Los supuestos que se hacen sobre un modelo generalmente se dividen en dos categorías: supuestos estructurales sobre cómo funciona el sistema y supuestos de datos. También podemos considerar los supuestos de simplificación que son los que utilizamos para simplificar la realidad. [6]
Los supuestos que se hacen sobre cómo opera el sistema y cómo está físicamente organizado son supuestos estructurales. Por ejemplo, la cantidad de servidores en un carril de paso de comida rápida y, si hay más de uno, ¿cómo se utilizan? ¿Los servidores funcionan en paralelo donde un cliente completa una transacción visitando un solo servidor o un servidor toma pedidos y maneja el pago mientras el otro prepara y sirve el pedido? Muchos problemas estructurales del modelo provienen de suposiciones deficientes o incorrectas. [4] Si es posible, se debe observar de cerca el funcionamiento del sistema real para comprender cómo funciona. [4] La estructura y el funcionamiento del sistema también deben verificarse con los usuarios del sistema real. [1]
Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validarlo. La falta de datos apropiados es a menudo la razón por la que fracasan los intentos de validar un modelo. [3] Se debe verificar que los datos provengan de una fuente confiable. Un error típico es suponer una distribución estadística inapropiada de los datos. [1] El modelo estadístico supuesto debe probarse utilizando pruebas de bondad de ajuste y otras técnicas. [1] [3] Ejemplos de pruebas de bondad de ajuste son la prueba de Kolmogorov-Smirnov y la prueba de chi-cuadrado . Se debe comprobar cualquier valor atípico en los datos. [3]
Son aquellas suposiciones que sabemos que no son ciertas, pero que son necesarias para simplificar el problema que queremos resolver. [6] El uso de estos supuestos debe restringirse para asegurar que el modelo sea lo suficientemente correcto como para servir como respuesta al problema que queremos resolver.
El modelo se considera una transformación de entrada-salida para estas pruebas. La prueba de validación consiste en comparar los resultados del sistema considerado con los resultados del modelo para el mismo conjunto de condiciones de entrada. Los datos registrados mientras se observa el sistema deben estar disponibles para poder realizar esta prueba. [3] El resultado del modelo que sea de interés principal debe usarse como medida del desempeño. [1] Por ejemplo, si el sistema bajo consideración es un servicio de comida rápida donde la entrada al modelo es el tiempo de llegada del cliente y la medida de rendimiento del rendimiento es el tiempo promedio de espera del cliente en la fila, entonces el tiempo de llegada real y el tiempo que los clientes pasan en la fila en el recorrido se grabaría. El modelo se ejecutaría con los tiempos de llegada reales y el tiempo promedio del modelo en línea se compararía con el tiempo promedio real de permanencia en la línea utilizando una o más pruebas.
La prueba de hipótesis estadística mediante la prueba t se puede utilizar como base para aceptar el modelo como válido o rechazarlo como inválido.
La hipótesis a probar es
versus
La prueba se realiza para un tamaño de muestra determinado y un nivel de significancia o α. Para realizar la prueba, se realizan un número n de ejecuciones estadísticamente independientes del modelo y se produce un valor promedio o esperado, E(Y), para la variable de interés. Luego, el estadístico de prueba, t 0, se calcula para α, n , E(Y) dado y el valor observado para el sistema μ 0.
Si
Rechace H 0 , el modelo necesita ajuste.
Hay dos tipos de error que pueden ocurrir al utilizar la prueba de hipótesis: rechazar un modelo válido llamado error de tipo I o "riesgo de los constructores de modelos" y aceptar un modelo no válido llamado error de tipo II, β, o "riesgo del usuario del modelo". [3] El nivel de significancia o α es igual a la probabilidad de error tipo I. [3] Si α es pequeño, entonces rechazar la hipótesis nula es una conclusión sólida. [1] Por ejemplo, si α = 0,05 y se rechaza la hipótesis nula solo hay una probabilidad de 0,05 de rechazar un modelo que sea válido. Es muy importante disminuir la probabilidad de cometer un error de tipo II. [1] [3] La probabilidad de detectar correctamente un modelo no válido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y de la diferencia real entre el valor de la muestra y el valor observado. Aumentar el tamaño de la muestra disminuye el riesgo de cometer un error de tipo II.
Recientemente se ha desarrollado una técnica estadística en la que la cantidad de precisión del modelo se especifica como un rango. La técnica utiliza pruebas de hipótesis para aceptar un modelo si la diferencia entre la variable de interés de un modelo y la variable de interés de un sistema está dentro de un rango específico de precisión. [7] Un requisito es que tanto los datos del sistema como los datos del modelo sean aproximadamente normalmente independientes e idénticamente distribuidos (NIID) . En esta técnica se utiliza el estadístico de prueba t . Si la media del modelo es μ m y la media del sistema es μ s, entonces la diferencia entre el modelo y el sistema es D = μ m - μ s . La hipótesis a probar es si D está dentro del rango aceptable de precisión. Sea L = el límite inferior de precisión y U = límite superior de precisión. Entonces
versus
está por ser probado.
La curva característica operativa (OC) es la probabilidad de que se acepte la hipótesis nula cuando es cierta. La curva OC caracteriza las probabilidades de errores de tipo I y II. Las curvas de riesgo para el riesgo del constructor del modelo y del usuario del modelo se pueden desarrollar a partir de las curvas OC. La comparación de curvas con tamaños de muestra fijos y las compensaciones entre el riesgo del creador del modelo y el riesgo del usuario del modelo se pueden ver fácilmente en las curvas de riesgo. [7] Si se especifican el riesgo del creador del modelo, el riesgo del usuario del modelo y los límites superior e inferior para el rango de precisión, entonces se puede calcular el tamaño de muestra necesario. [7]
Los intervalos de confianza se pueden utilizar para evaluar si un modelo está "lo suficientemente cerca" [1] de un sistema para alguna variable de interés. La diferencia entre el valor conocido del modelo, μ 0 , y el valor del sistema, μ, se verifica para ver si es menor que un valor lo suficientemente pequeño como para que el modelo sea válido con respecto a esa variable de interés. El valor se indica con el símbolo ε. Para realizar la prueba, se realizan un número, n , ejecuciones estadísticamente independientes del modelo y se produce un valor medio o esperado, E(Y) o μ para la variable de salida de simulación de interés Y, con una desviación estándar S. Se selecciona un nivel de confianza, 100(1-α). Un intervalo, [a,b], se construye mediante
dónde
es el valor crítico de la distribución t para el nivel de significancia dado y n-1 grados de libertad.
Si no se pueden satisfacer los supuestos estadísticos o no hay datos suficientes para el sistema, se pueden utilizar comparaciones gráficas de los resultados del modelo con los resultados del sistema para tomar decisiones subjetivas; sin embargo, son preferibles otras pruebas objetivas. [3]
Los documentos y estándares que involucran la verificación y validación del modelado y simulación computacional son desarrollados por el Comité de Verificación y Validación (V&V) de la Sociedad Estadounidense de Ingenieros Mecánicos (ASME). ASME V&V 10 proporciona orientación para evaluar y aumentar la credibilidad de los modelos computacionales de mecánica de sólidos a través de los procesos de verificación, validación y cuantificación de la incertidumbre. [8] ASME V&V 10.1 proporciona un ejemplo detallado para ilustrar los conceptos descritos en ASME V&V 10. [9] ASME V&V 20 proporciona una metodología detallada para validar simulaciones computacionales aplicadas a la dinámica de fluidos y la transferencia de calor. [10] ASME V&V 40 proporciona un marco para establecer requisitos de credibilidad del modelo para el modelado computacional y presenta ejemplos específicos en la industria de dispositivos médicos. [11]
