En estadística , la validación de modelos es la tarea de evaluar si un modelo estadístico elegido es apropiado o no. A menudo, en la inferencia estadística, las inferencias de modelos que parecen ajustarse a sus datos pueden ser casualidades, lo que da como resultado un malentendido por parte de los investigadores sobre la relevancia real de su modelo. Para combatir esto, se utiliza la validación del modelo para probar si un modelo estadístico puede soportar permutaciones en los datos. Este tema no debe confundirse con la tarea estrechamente relacionada de selección de modelos , el proceso de discriminar entre múltiples modelos candidatos: la validación de modelos no concierne tanto al diseño conceptual de los modelos sino que prueba sólo la coherencia entre un modelo elegido y su declaración. salidas.
Hay muchas formas de validar un modelo. Los gráficos residuales representan la diferencia entre los datos reales y las predicciones del modelo: las correlaciones en los gráficos residuales pueden indicar una falla en el modelo. La validación cruzada es un método de validación del modelo que reajusta el modelo de forma iterativa, omitiendo cada vez solo una pequeña muestra y comparando si el modelo predice las muestras omitidas: hay muchos tipos de validación cruzada . La simulación predictiva se utiliza para comparar datos simulados con datos reales. La validación externa implica ajustar el modelo a nuevos datos. El criterio de información de Akaike estima la calidad de un modelo.
La validación de modelos se presenta de muchas formas y el método específico de validación de modelos que utiliza un investigador es a menudo una limitación del diseño de su investigación. Para enfatizar, lo que esto significa es que no existe un método único para validar un modelo. Por ejemplo, si un investigador está operando con un conjunto muy limitado de datos, pero sobre los datos tiene suposiciones previas sólidas, puede considerar validar el ajuste de su modelo utilizando un marco bayesiano y probar el ajuste de su modelo utilizando varias distribuciones previas. . Sin embargo, si un investigador tiene muchos datos y está probando múltiples modelos anidados, estas condiciones pueden prestarse a una validación cruzada y posiblemente a una prueba de exclusión. Estos son dos ejemplos abstractos y cualquier validación de modelo real tendrá que considerar muchas más complejidades que las que se describen aquí, pero estos ejemplos ilustran que los métodos de validación de modelos siempre serán circunstanciales.
En general, los modelos se pueden validar utilizando datos existentes o con datos nuevos, y ambos métodos se analizan con más detalle en las siguientes subsecciones y también se proporciona una nota de precaución.
La validación basada en datos existentes implica analizar la bondad de ajuste del modelo o analizar si los residuos parecen ser aleatorios (es decir, diagnóstico residual). Este método implica utilizar análisis de la cercanía del modelo a los datos y tratar de comprender qué tan bien el modelo predice sus propios datos. Un ejemplo de este método se encuentra en la Figura 1, que muestra una función polinómica ajustada a algunos datos. Vemos que la función polinómica no se ajusta bien a los datos, que parecen lineales y podrían invalidar este modelo polinomial.
Por lo general, los modelos estadísticos sobre datos existentes se validan utilizando un conjunto de validación, que también puede denominarse conjunto de reserva. Un conjunto de validación es un conjunto de puntos de datos que el usuario omite al ajustar un modelo estadístico. Una vez ajustado el modelo estadístico, el conjunto de validación se utiliza como medida del error del modelo. Si el modelo se ajusta bien a los datos iniciales pero tiene un gran error en el conjunto de validación, esto es una señal de sobreajuste, como se ve en la Figura 1.
Si hay nuevos datos disponibles, se puede validar un modelo existente evaluando si los nuevos datos son predichos por el modelo antiguo. Si el modelo anterior no predice los nuevos datos, entonces el modelo podría no ser válido para los objetivos del investigador.
Teniendo esto en cuenta, un enfoque moderno para validar una red neuronal consiste en probar su rendimiento en datos de dominio desplazado. Esto determina si el modelo aprendió características invariantes de dominio. [1]
Un modelo sólo puede validarse en relación con algún área de aplicación. [2] [3] Un modelo que es válido para una aplicación puede no ser válido para otras aplicaciones. Como ejemplo, considere la curva de la Figura 1: si la aplicación solo usó entradas del intervalo [0, 2], entonces la curva bien podría ser un modelo aceptable.
A la hora de hacer una validación, existen tres causas destacables de posible dificultad, según la Encyclopedia of Statistical Sciences . [4] Las tres causas son estas: falta de datos; falta de control de las variables de entrada; incertidumbre sobre las distribuciones de probabilidad y correlaciones subyacentes. Los métodos habituales para afrontar las dificultades en la validación incluyen los siguientes: comprobar los supuestos hechos al construir el modelo; examinar los datos disponibles y los resultados del modelo relacionado; aplicando el juicio de expertos. [2] Tenga en cuenta que el juicio de expertos comúnmente requiere experiencia en el área de aplicación. [2]
A veces se puede utilizar el juicio de expertos para evaluar la validez de una predicción sin obtener datos reales: por ejemplo, para la curva de la Figura 1, un experto bien podría evaluar que una extrapolación sustancial no será válida. Además, el juicio de expertos se puede utilizar en pruebas de tipo Turing , donde a los expertos se les presentan datos reales y resultados de modelos relacionados y luego se les pide que distingan entre los dos. [5]
Para algunas clases de modelos estadísticos, se encuentran disponibles métodos especializados para realizar la validación. Por ejemplo, si el modelo estadístico se obtuvo mediante una regresión , entonces existen y generalmente se emplean análisis especializados para la validación del modelo de regresión .
Los diagnósticos residuales comprenden análisis de los residuos para determinar si los residuos parecen ser efectivamente aleatorios. Estos análisis suelen requerir estimaciones de las distribuciones de probabilidad de los residuos. Las estimaciones de las distribuciones de los residuos a menudo pueden obtenerse ejecutando repetidamente el modelo, es decir, utilizando simulaciones estocásticas repetidas (empleando un generador de números pseudoaleatorios para variables aleatorias en el modelo).
Si el modelo estadístico se obtuvo mediante una regresión, entonces existen diagnósticos de regresión residual y pueden usarse; tales diagnósticos han sido bien estudiados.
La validación cruzada es un método de muestreo que implica dejar algunas partes de los datos fuera del proceso de ajuste y luego ver si esos datos que quedan fuera están cerca o lejos de donde el modelo predice que estarían. Lo que eso significa en la práctica es que las técnicas de validación cruzada ajustan el modelo muchas, muchas veces con una parte de los datos y comparan cada ajuste del modelo con la parte que no utilizó. Si los modelos rara vez describen los datos con los que no fueron entrenados, entonces probablemente el modelo esté equivocado.
{{citation}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ).