En estadística , la validación de modelos es la tarea de evaluar si un modelo estadístico elegido es apropiado o no. A menudo, en la inferencia estadística, las inferencias de modelos que parecen ajustarse a sus datos pueden ser casualidades, lo que da como resultado una mala interpretación por parte de los investigadores de la relevancia real de su modelo. Para combatir esto, se utiliza la validación de modelos para probar si un modelo estadístico puede resistir permutaciones en los datos. Este tema no debe confundirse con la tarea estrechamente relacionada de la selección de modelos , el proceso de discriminación entre múltiples modelos candidatos: la validación de modelos no se refiere tanto al diseño conceptual de los modelos como a la prueba solo de la coherencia entre un modelo elegido y sus resultados establecidos.
Existen muchas formas de validar un modelo. Los gráficos de residuos representan la diferencia entre los datos reales y las predicciones del modelo: las correlaciones en los gráficos de residuos pueden indicar una falla en el modelo. La validación cruzada es un método de validación del modelo que reajusta iterativamente el modelo, dejando fuera cada vez solo una pequeña muestra y comparando si las muestras omitidas son las predichas por el modelo: existen muchos tipos de validación cruzada . La simulación predictiva se utiliza para comparar datos simulados con datos reales. La validación externa implica ajustar el modelo a nuevos datos. El criterio de información de Akaike estima la calidad de un modelo.
La validación de modelos se presenta de muchas formas y el método específico de validación de modelos que utiliza un investigador suele ser una limitación de su diseño de investigación. Para enfatizar, lo que esto significa es que no existe un método único para validar un modelo. Por ejemplo, si un investigador está operando con un conjunto muy limitado de datos, pero sobre los que tiene fuertes suposiciones previas, puede considerar validar el ajuste de su modelo utilizando un marco bayesiano y probando el ajuste de su modelo utilizando varias distribuciones previas. Sin embargo, si un investigador tiene muchos datos y está probando múltiples modelos anidados, estas condiciones pueden prestarse a una validación cruzada y posiblemente a una prueba de exclusión. Estos son dos ejemplos abstractos y cualquier validación de modelo real tendrá que considerar muchas más complejidades que las descritas aquí, pero estos ejemplos ilustran que los métodos de validación de modelos siempre serán circunstanciales.
En general, los modelos se pueden validar utilizando datos existentes o con datos nuevos, y ambos métodos se analizan con más detalle en las siguientes subsecciones; también se proporciona una nota de precaución.
La validación basada en datos existentes implica analizar la bondad del ajuste del modelo o analizar si los residuos parecen ser aleatorios (es decir, diagnósticos de residuos). Este método implica utilizar análisis de la proximidad de los modelos a los datos e intentar comprender qué tan bien el modelo predice sus propios datos. Un ejemplo de este método se encuentra en la Figura 1, que muestra una función polinómica ajustada a algunos datos. Vemos que la función polinómica no se ajusta bien a los datos, que parecen lineales y podrían invalidar este modelo polinómico.
Por lo general, los modelos estadísticos basados en datos existentes se validan mediante un conjunto de validación, que también puede denominarse conjunto de reserva. Un conjunto de validación es un conjunto de puntos de datos que el usuario omite al ajustar un modelo estadístico. Una vez ajustado el modelo estadístico, el conjunto de validación se utiliza como medida del error del modelo. Si el modelo se ajusta bien a los datos iniciales pero tiene un error grande en el conjunto de validación, esto es un signo de sobreajuste.
Si se dispone de nuevos datos, se puede validar un modelo existente evaluando si el modelo anterior predice los nuevos datos. Si el modelo anterior no predice los nuevos datos, es posible que el modelo no sea válido para los objetivos del investigador.
Teniendo esto en mente, un enfoque moderno para validar una red neuronal es probar su desempeño en datos desplazados del dominio. Esto permite determinar si el modelo aprendió características invariantes del dominio. [1]
Un modelo puede ser validado únicamente en relación con un área de aplicación determinada. [2] [3] Un modelo que es válido para una aplicación puede no ser válido para otras aplicaciones. Como ejemplo, considere la curva de la Figura 1: si la aplicación solo utilizara entradas del intervalo [0, 2], entonces la curva podría ser un modelo aceptable.
Según la Enciclopedia de Ciencias Estadísticas , al realizar una validación, existen tres causas notables de posibles dificultades . [4] Las tres causas son las siguientes: falta de datos; falta de control de las variables de entrada; incertidumbre sobre las distribuciones de probabilidad y correlaciones subyacentes. Los métodos habituales para abordar las dificultades en la validación incluyen los siguientes: comprobar los supuestos realizados al construir el modelo; examinar los datos disponibles y los resultados relacionados del modelo; aplicar el juicio de expertos. [2] Cabe señalar que el juicio de expertos generalmente requiere experiencia en el área de aplicación. [2]
El juicio de expertos puede utilizarse a veces para evaluar la validez de una predicción sin obtener datos reales: por ejemplo, en el caso de la curva de la Figura 1, un experto podría evaluar que una extrapolación sustancial no será válida. Además, el juicio de expertos puede utilizarse en pruebas de tipo Turing , en las que se presentan a los expertos tanto datos reales como resultados de modelos relacionados y luego se les pide que distingan entre ambos. [5]
Para algunas clases de modelos estadísticos, existen métodos especializados para realizar la validación. Por ejemplo, si el modelo estadístico se obtuvo mediante una regresión , existen análisis especializados para la validación del modelo de regresión y se emplean generalmente.
Los diagnósticos de residuos comprenden análisis de los residuos para determinar si parecen ser efectivamente aleatorios. Estos análisis suelen requerir estimaciones de las distribuciones de probabilidad de los residuos. Las estimaciones de las distribuciones de los residuos se pueden obtener a menudo ejecutando el modelo repetidamente, es decir, utilizando simulaciones estocásticas repetidas (empleando un generador de números pseudoaleatorios para las variables aleatorias en el modelo).
Si el modelo estadístico se obtuvo mediante una regresión, entonces existen diagnósticos de residuos de regresión y pueden utilizarse; dichos diagnósticos han sido bien estudiados.
La validación cruzada es un método de muestreo que implica dejar algunas partes de los datos fuera del proceso de ajuste y luego ver si esos datos que se dejaron fuera están cerca o lejos de donde el modelo predice que estarían. Lo que eso significa en la práctica es que las técnicas de validación cruzada ajustan el modelo muchas, muchas veces con una parte de los datos y comparan cada ajuste del modelo con la parte que no utilizó. Si los modelos muy rara vez describen los datos con los que no fueron entrenados, entonces el modelo probablemente esté equivocado.
{{citation}}: CS1 maint: varios nombres: lista de autores ( enlace ).