Validación cruzada (estadísticas)

Técnica de validación de modelos estadísticos.

Comparación de la precisión de la validación cruzada y el porcentaje de falsos negativos (sobreestimación) de cinco modelos de clasificación. El tamaño de las burbujas representa la desviación estándar de la precisión de la validación cruzada (diez veces). ^[1]

Diagrama de validación cruzada de k veces.

La validación cruzada , ^{[2] [3] [4]} a veces llamada estimación de rotación ^{[5] [6] [7]} o prueba fuera de muestra , es cualquiera de varias técnicas de validación de modelos similares para evaluar cómo se obtienen los resultados de una estadística . El análisis se generalizará a un conjunto de datos independiente. La validación cruzada incluye métodos de remuestreo y división de muestras que utilizan diferentes partes de los datos para probar y entrenar un modelo en diferentes iteraciones. A menudo se utiliza en entornos donde el objetivo es la predicción y se desea estimar con qué precisión funcionará un modelo predictivo en la práctica. También se puede utilizar para evaluar la calidad de un modelo ajustado y la estabilidad de sus parámetros.

En un problema de predicción, a un modelo generalmente se le proporciona un conjunto de datos conocidos sobre los cuales se ejecuta el entrenamiento ( conjunto de datos de entrenamiento ) y un conjunto de datos desconocidos (o datos vistos por primera vez ) contra los cuales se prueba el modelo (llamado conjunto de datos de validación o prueba). colocar ). ^{[8] [9]} El objetivo de la validación cruzada es probar la capacidad del modelo para predecir nuevos datos que no se utilizaron en la estimación, con el fin de señalar problemas como el sobreajuste o el sesgo de selección ^[10] y dar una idea de cómo el modelo se generalizará a un conjunto de datos independiente (es decir, un conjunto de datos desconocido, por ejemplo de un problema real).

Una ronda de validación cruzada implica dividir una muestra de datos en subconjuntos complementarios , realizar el análisis en un subconjunto (llamado conjunto de entrenamiento ) y validar el análisis en el otro subconjunto (llamado conjunto de validación o conjunto de prueba ). Para reducir la variabilidad , en la mayoría de los métodos se realizan múltiples rondas de validación cruzada utilizando diferentes particiones y los resultados de la validación se combinan (por ejemplo, se promedian) a lo largo de las rondas para dar una estimación del rendimiento predictivo del modelo.

En resumen, la validación cruzada combina (promedia) medidas de idoneidad en la predicción para derivar una estimación más precisa del rendimiento de la predicción del modelo. ^[11]

Motivación

Suponga un modelo con uno o más parámetros desconocidos y un conjunto de datos al que se puede ajustar el modelo (el conjunto de datos de entrenamiento). El proceso de ajuste optimiza los parámetros del modelo para que se ajuste lo mejor posible a los datos de entrenamiento. Si se toma una muestra independiente de datos de validación de la misma población que los datos de entrenamiento, generalmente resultará que el modelo no se ajusta a los datos de validación tan bien como se ajusta a los datos de entrenamiento. Es probable que el tamaño de esta diferencia sea grande, especialmente cuando el tamaño del conjunto de datos de entrenamiento es pequeño o cuando la cantidad de parámetros en el modelo es grande. La validación cruzada es una forma de estimar el tamaño de este efecto.

Ejemplo: regresión lineal

En la regresión lineal, existen valores de respuesta reales y n covariables vectoriales p -dimensionales x ₁ , ..., x _n . Los componentes del vector x _i se denotan x _{i 1} , ..., x _ip . Si se utilizan mínimos cuadrados para ajustar una función en forma de hiperplano ŷ = a + β ^T x a los datos ( x _i , y _i )  _{1 ≤  i  ≤  n} , entonces el ajuste se puede evaluar utilizando el error cuadrático medio ( MSE). El MSE para valores de parámetros estimados dados a y β en el conjunto de entrenamiento ( x _i , y _i )  _{1 ≤  i  ≤  n} se define como: ${\textstyle y_{1},\ldots ,y_{n}}$

${\displaystyle {\begin{aligned}{\text{MSE}}&={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-{\boldsymbol {\beta }}^{T}\mathbf {x} _{i})^{2}\\&={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-a-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}\end{aligned}}}$

Si el modelo se especifica correctamente, se puede demostrar, bajo suposiciones leves, que el valor esperado del MSE para el conjunto de entrenamiento es ( n  −  p  − 1)/( n  +  p  + 1) < 1 veces el valor esperado del MSE. para el conjunto de validación ^{[12] [ cita irrelevante ]} (el valor esperado se toma sobre la distribución de los conjuntos de entrenamiento). Por lo tanto, un modelo ajustado y un MSE calculado en el conjunto de entrenamiento darán como resultado una evaluación sesgada de manera optimista de qué tan bien se ajustará el modelo a un conjunto de datos independiente. Esta estimación sesgada se denomina estimación del ajuste dentro de la muestra, mientras que la estimación de validación cruzada es una estimación fuera de la muestra .

Dado que en la regresión lineal es posible calcular directamente el factor ( n  −  p  − 1)/( n  +  p  + 1) mediante el cual el MSE de entrenamiento subestima el MSE de validación bajo el supuesto de que la especificación del modelo es válida, la validación cruzada puede usarse para verificar si el modelo se ha sobreajustado , en cuyo caso el MSE en el conjunto de validación excederá sustancialmente su valor anticipado. (La validación cruzada en el contexto de la regresión lineal también es útil porque se puede utilizar para seleccionar una función de costos óptimamente regularizada ).

Caso general

En la mayoría de los demás procedimientos de regresión (por ejemplo, la regresión logística ), no existe una fórmula sencilla para calcular el ajuste esperado fuera de la muestra. La validación cruzada es, por tanto, una forma generalmente aplicable de predecir el rendimiento de un modelo con datos no disponibles utilizando cálculos numéricos en lugar de análisis teóricos.

Tipos

Se pueden distinguir dos tipos de validación cruzada: la validación cruzada exhaustiva y la no exhaustiva.

Validación cruzada exhaustiva

Los métodos exhaustivos de validación cruzada son métodos de validación cruzada que aprenden y prueban todas las formas posibles de dividir la muestra original en un conjunto de entrenamiento y validación.

Validación cruzada de omisión

La validación cruzada con exclusión de p ( LpO CV ) implica el uso de p observaciones como conjunto de validación y las observaciones restantes como conjunto de entrenamiento. Esto se repite en todas las formas de cortar la muestra original en un conjunto de validación de p observaciones y un conjunto de entrenamiento. ^[13]

La validación cruzada de LpO requiere entrenar y validar los tiempos del modelo, donde n es el número de observaciones en la muestra original y donde es el coeficiente binomial . Para p > 1 e incluso para n moderadamente grande , LpO CV puede volverse computacionalmente inviable. Por ejemplo, con n = 100 y p = 30, ${\displaystyle C_{p}^{n}}$ ${\displaystyle C_{p}^{n}}$ ${\displaystyle C_{30}^{100}\approx 3\times 10^{25}.}$

Se ha recomendado una variante de la validación cruzada de LpO con p = 2 conocida como validación cruzada sin pares como método casi imparcial para estimar el área bajo la curva ROC de clasificadores binarios. ^[14]

Validación cruzada de dejar uno fuera

Ilustración de validación cruzada de dejar uno fuera (LOOCV) cuando n = 8 observaciones. Se entrenarán y probarán un total de 8 modelos.

La validación cruzada con exclusión de uno ( LOOCV ) es un caso particular de validación cruzada con exclusión de p con p  = 1. El proceso es similar a jackknife ; sin embargo, con la validación cruzada se calcula una estadística de las muestras omitidas, mientras que con la validación cruzada se calcula una estadística de las muestras conservadas únicamente.

La validación cruzada LOO requiere menos tiempo de cálculo que la validación cruzada LpO porque solo hay pases en lugar de . Sin embargo, los pases aún pueden requerir un tiempo de cálculo bastante grande, en cuyo caso otros enfoques, como la validación cruzada k-fold, pueden ser más apropiados. ^[15] ${\displaystyle C_{1}^{n}=n}$ ${\displaystyle C_{p}^{n}}$ ${\displaystyle n}$

Algoritmo de pseudocódigo:

Aporte:

x, {vector de longitud Ncon valores x de puntos entrantes}

y, {vector de longitud Ncon valores y del resultado esperado}

interpolate( x_in, y_in, x_out ), { devuelve la estimación del punto x_outdespués de entrenar el modelo con x_in- y_inpares}

Producción:

err, {estimación del error de predicción}

Pasos:

errar ← 0 para i ← 1, ..., N hacer // definir los subconjuntos de validación cruzada x_in ← (x[1], ..., x[i - 1], x[i + 1], ..., x[N]) y_in ← (y[1], ..., y[i - 1], y[i + 1], ..., y[N]) x_salida ← x[i] y_out ← interpolar(x_in, y_in, x_out) errar ← errar + (y[i] − y_out)^2 fin para errar ← errar/N

Validación cruzada no exhaustiva

Los métodos de validación cruzada no exhaustivos no calculan todas las formas de dividir la muestra original. Estos métodos son aproximaciones de validación cruzada sin exclusión .

validación cruzada k veces

Ilustración de validación cruzada de k veces cuando n = 12 observaciones y k = 3. Después de mezclar los datos, se entrenarán y probarán un total de 3 modelos.

En la validación cruzada de k veces, la muestra original se divide aleatoriamente en k submuestras de igual tamaño, a menudo denominadas "pliegues". De las k submuestras, una única submuestra se conserva como datos de validación para probar el modelo, y las k  − 1 submuestras restantes se utilizan como datos de entrenamiento. Luego, el proceso de validación cruzada se repite k veces, y cada una de las k submuestras se utiliza exactamente una vez como datos de validación. Luego se pueden promediar los k resultados para producir una estimación única. La ventaja de este método sobre el submuestreo aleatorio repetido (ver más abajo) es que todas las observaciones se usan tanto para el entrenamiento como para la validación, y cada observación se usa para la validación exactamente una vez. Comúnmente se usa una validación cruzada de 10 veces, ^[16] pero en general k sigue siendo un parámetro no fijo.

Por ejemplo, establecer k  =  2 da como resultado una validación cruzada doble. En la validación cruzada doble, mezclamos aleatoriamente el conjunto de datos en dos conjuntos d ₀ y d ₁ , de modo que ambos conjuntos tengan el mismo tamaño (esto generalmente se implementa mezclando la matriz de datos y luego dividiéndola en dos). Luego entrenamos en d ₀ y validamos en d ₁ , seguido de entrenamiento en d ₁ y validamos en  d ₀ .

Cuando k  =  n (el número de observaciones), la validación cruzada de k veces es equivalente a la validación cruzada de dejar uno fuera. ^[17]

En la validación cruzada estratificada de k veces, las particiones se seleccionan de modo que el valor de respuesta medio sea aproximadamente igual en todas las particiones. En el caso de la clasificación binaria, esto significa que cada partición contiene aproximadamente las mismas proporciones de los dos tipos de etiquetas de clase.

En la validación cruzada repetida, los datos se dividen aleatoriamente en k particiones varias veces. De este modo se puede promediar el rendimiento del modelo a lo largo de varias ejecuciones, pero esto rara vez es deseable en la práctica. ^[18]

Cuando se consideran muchos modelos estadísticos o de aprendizaje automático diferentes, se puede utilizar una validación cruzada codiciosa de k veces para identificar rápidamente los modelos candidatos más prometedores. ^[19]

Método de reserva

En el método de reserva, asignamos aleatoriamente puntos de datos a dos conjuntos d ₀ y d ₁ , generalmente llamados conjunto de entrenamiento y conjunto de prueba, respectivamente. El tamaño de cada uno de los conjuntos es arbitrario, aunque normalmente el conjunto de prueba es más pequeño que el conjunto de entrenamiento. Luego entrenamos (construimos un modelo) en d ₀ y probamos (evaluamos su rendimiento) en d ₁ .

En una validación cruzada típica, los resultados de múltiples ejecuciones de pruebas de modelos se promedian juntos; por el contrario, el método de reserva, de forma aislada, implica una sola ejecución. Debe usarse con precaución porque sin dicho promedio de múltiples ejecuciones, se pueden lograr resultados muy engañosos. El indicador de precisión predictiva (F*) tenderá a ser inestable ya que no se suavizará mediante múltiples iteraciones (ver más abajo). De manera similar, los indicadores del papel específico que desempeñan diversas variables predictoras (por ejemplo, los valores de los coeficientes de regresión) tenderán a ser inestables.

Si bien el método de exclusión puede enmarcarse como "el tipo más simple de validación cruzada", ^[20] muchas fuentes clasifican la exclusión como un tipo de validación simple, en lugar de una forma simple o degenerada de validación cruzada. ^{[6] [21]}

Validación repetida de submuestreo aleatorio

Este método, también conocido como validación cruzada de Monte Carlo , ^[22] crea múltiples divisiones aleatorias del conjunto de datos en datos de entrenamiento y validación. ^[23] Para cada división, el modelo se ajusta a los datos de entrenamiento y la precisión predictiva se evalúa utilizando los datos de validación. Luego, los resultados se promedian entre las divisiones. La ventaja de este método (sobre la validación cruzada de k veces) es que la proporción de la división de entrenamiento/validación no depende del número de iteraciones (es decir, el número de particiones). La desventaja de este método es que es posible que algunas observaciones nunca se seleccionen en la submuestra de validación, mientras que otras pueden seleccionarse más de una vez. En otras palabras, los subconjuntos de validación pueden superponerse. Este método también presenta variación de Monte Carlo , lo que significa que los resultados variarán si el análisis se repite con diferentes divisiones aleatorias.

A medida que el número de divisiones aleatorias se acerca al infinito, el resultado de la validación repetida del submuestreo aleatorio tiende hacia el de una validación cruzada con exclusión.

En una variante estratificada de este enfoque, las muestras aleatorias se generan de tal manera que el valor de respuesta medio (es decir, la variable dependiente en la regresión) sea igual en los conjuntos de entrenamiento y prueba. Esto es particularmente útil si las respuestas son dicotómicas con una representación desequilibrada de los dos valores de respuesta en los datos.

Un método que aplica submuestreo aleatorio repetido es RANSAC . ^[24]

Validación cruzada anidada

Cuando la validación cruzada se utiliza simultáneamente para la selección del mejor conjunto de hiperparámetros y para la estimación del error (y la evaluación de la capacidad de generalización), se requiere una validación cruzada anidada. Existen muchas variantes. Se pueden distinguir al menos dos variantes:

validación cruzada k*l-veces

Esta es una variante verdaderamente anidada que contiene un bucle externo de k conjuntos y un bucle interno de l conjuntos. El conjunto de datos total se divide en k conjuntos. Uno por uno, se selecciona un conjunto como conjunto de prueba (externo) y los otros k  - 1 conjuntos se combinan en el conjunto de entrenamiento externo correspondiente. Esto se repite para cada uno de los k conjuntos. Cada conjunto de entrenamiento externo se subdivide en l conjuntos. Uno por uno, se selecciona un conjunto como conjunto de prueba (validación) interno y los otros 1  - 1 conjuntos se combinan en el conjunto de entrenamiento interno correspondiente. Esto se repite para cada uno de los conjuntos l . Los conjuntos de entrenamiento internos se utilizan para ajustar los parámetros del modelo, mientras que el conjunto de pruebas externo se utiliza como conjunto de validación para proporcionar una evaluación imparcial del ajuste del modelo. Normalmente, esto se repite para muchos hiperparámetros diferentes (o incluso diferentes tipos de modelos) y el conjunto de validación se utiliza para determinar el mejor conjunto de hiperparámetros (y tipo de modelo) para este conjunto de entrenamiento interno. Después de esto, se ajusta un nuevo modelo a todo el conjunto de entrenamiento externo, utilizando el mejor conjunto de hiperparámetros de la validación cruzada interna. Luego, el rendimiento de este modelo se evalúa utilizando el conjunto de prueba externo.

Validación cruzada k veces con validación y conjunto de pruebas.

Este es un tipo de validación cruzada de k*l veces cuando l  =  k  - 1. Se utiliza una validación cruzada de k*l veces con un conjunto de validación y de prueba . El conjunto de datos total se divide en k conjuntos. Uno por uno, se selecciona un conjunto como conjunto de prueba. Luego, uno a uno, uno de los conjuntos restantes se utiliza como conjunto de validación y los otros k  - 2 conjuntos se utilizan como conjuntos de entrenamiento hasta que se hayan evaluado todas las combinaciones posibles. De manera similar a la validación cruzada k*l-fold, el conjunto de entrenamiento se usa para el ajuste del modelo y el conjunto de validación se usa para la evaluación del modelo para cada uno de los conjuntos de hiperparámetros. Finalmente, para el conjunto de parámetros seleccionado, el conjunto de prueba se utiliza para evaluar el modelo con el mejor conjunto de parámetros. Aquí, son posibles dos variantes: evaluar el modelo que se entrenó en el conjunto de entrenamiento o evaluar un nuevo modelo que se ajustó a la combinación del conjunto de entrenamiento y validación.

medidas de ajuste

El objetivo de la validación cruzada es estimar el nivel esperado de ajuste de un modelo a un conjunto de datos que sea independiente de los datos que se utilizaron para entrenar el modelo. Puede utilizarse para estimar cualquier medida cuantitativa de ajuste que sea apropiada para los datos y el modelo. Por ejemplo, para problemas de clasificación binaria , cada caso del conjunto de validación se predice correcta o incorrectamente. En esta situación, se puede utilizar la tasa de error de clasificación errónea para resumir el ajuste, aunque también se podrían utilizar otras medidas como el valor predictivo positivo . Cuando el valor que se predice se distribuye continuamente, se pueden utilizar el error cuadrático medio , el error cuadrático medio o la desviación absoluta mediana para resumir los errores.

Usando información previa

Cuando los usuarios aplican la validación cruzada para seleccionar una buena configuración , es posible que deseen equilibrar la elección de la validación cruzada con su propia estimación de la configuración. De esta manera, pueden intentar contrarrestar la volatilidad de la validación cruzada cuando el tamaño de la muestra es pequeño e incluir información relevante de investigaciones previas. En un ejercicio de combinación de pronósticos, por ejemplo, se puede aplicar validación cruzada para estimar las ponderaciones que se asignan a cada pronóstico. Dado que un pronóstico simple con ponderaciones iguales es difícil de superar, se puede agregar una penalización por desviarse de ponderaciones iguales. ^[25] O, si se aplica validación cruzada para asignar ponderaciones individuales a las observaciones, entonces se pueden penalizar las desviaciones de ponderaciones iguales para evitar desperdiciar información potencialmente relevante. ^[25] Hoornweg (2018) muestra cómo se puede definir un parámetro de ajuste para que un usuario pueda equilibrar intuitivamente entre la precisión de la validación cruzada y la simplicidad de ceñirse a un parámetro de referencia definido por el usuario. ${\displaystyle \lambda }$ ${\displaystyle \gamma }$ ${\displaystyle \lambda _{R}}$

Si denota la configuración candidata que podría seleccionarse, entonces la función de pérdida que se va a minimizar se puede definir como ${\displaystyle \lambda _{i}}$ ${\displaystyle i^{th}}$

${\displaystyle L_{\lambda _{i}}=(1-\gamma ){\mbox{ Relative Accuracy}}_{i}+\gamma {\mbox{ Relative Simplicity}}_{i}.}$

La precisión relativa se puede cuantificar como , de modo que el error cuadrático medio de un candidato se hace en relación con el de un especificado por el usuario . El término de simplicidad relativa mide la cantidad que se desvía de la cantidad máxima de desviación de . En consecuencia, la simplicidad relativa se puede especificar como , donde corresponde al valor con la desviación más alta permitida de . Con , el usuario determina qué tan alta es la influencia del parámetro de referencia en relación con la validación cruzada. ${\displaystyle {\mbox{MSE}}(\lambda _{i})/{\mbox{MSE}}(\lambda _{R})}$ ${\displaystyle \lambda _{i}}$ ${\displaystyle \lambda _{R}}$ ${\displaystyle \lambda _{i}}$ ${\displaystyle \lambda _{R}}$ ${\displaystyle \lambda _{R}}$ ${\displaystyle {\frac {(\lambda _{i}-\lambda _{R})^{2}}{(\lambda _{\max }-\lambda _{R})^{2}}}}$ ${\displaystyle \lambda _{\max }}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda _{R}}$ ${\displaystyle \gamma \in [0,1]}$

Se pueden agregar términos de relativa simplicidad para múltiples configuraciones especificando la función de pérdida como ${\displaystyle c=1,2,...,C}$

${\displaystyle L_{\lambda _{i}}={\mbox{ Relative Accuracy}}_{i}+\sum _{c=1}^{C}{\frac {\gamma _{c}}{1-\gamma _{c}}}{\mbox{ Relative Simplicity}}_{i,c}.}$

Hoornweg (2018) muestra que una función de pérdida con tal equilibrio entre precisión y simplicidad también se puede utilizar para definir intuitivamente estimadores de contracción como el lazo (adaptativo) y la regresión bayesiana / cresta . ^[25] Haga clic en el lazo para ver un ejemplo.

Propiedades estadísticas

Supongamos que elegimos una medida de ajuste F y usamos validación cruzada para producir una estimación F ^* del ajuste esperado EF de un modelo a un conjunto de datos independiente extraído de la misma población que los datos de entrenamiento. Si imaginamos muestrear múltiples conjuntos de entrenamiento independientes siguiendo la misma distribución, los valores resultantes para F ^* variarán. Las propiedades estadísticas de F ^* resultan de esta variación.

La varianza de F ^* puede ser grande. ^{[26] [27]} Por esta razón, si se comparan dos procedimientos estadísticos basándose en los resultados de la validación cruzada, el procedimiento con el mejor rendimiento estimado puede no ser en realidad el mejor de los dos procedimientos (es decir, puede no tener el mejor rendimiento). valor de EF ). Se han logrado algunos avances en la construcción de intervalos de confianza en torno a estimaciones de validación cruzada, ^[26] pero esto se considera un problema difícil.

Problemas computacionales

La mayoría de las formas de validación cruzada son sencillas de implementar siempre que esté disponible una implementación del método de predicción que se está estudiando. En particular, el método de predicción puede ser una "caja negra": no es necesario tener acceso a los aspectos internos de su implementación. Si entrenar el método de predicción es costoso, la validación cruzada puede ser muy lenta ya que el entrenamiento debe realizarse repetidamente. En algunos casos, como los de mínimos cuadrados y la regresión del kernel , la validación cruzada se puede acelerar significativamente calculando previamente ciertos valores que se necesitan repetidamente en el entrenamiento o usando "reglas de actualización" rápidas como la fórmula de Sherman-Morrison . Sin embargo, se debe tener cuidado de preservar el "cegamiento total" del conjunto de validación del procedimiento de entrenamiento; de lo contrario, puede producirse un sesgo. Un ejemplo extremo de validación cruzada acelerada ocurre en la regresión lineal , donde los resultados de la validación cruzada tienen una expresión de forma cerrada conocida como suma de cuadrados del error residual de predicción ( PRESS ).

Limitaciones y mal uso

La validación cruzada solo produce resultados significativos si el conjunto de validación y el conjunto de entrenamiento provienen de la misma población y solo si se controlan los sesgos humanos.

En muchas aplicaciones de modelado predictivo, la estructura del sistema que se estudia evoluciona con el tiempo (es decir, es "no estacionario"). Ambos pueden introducir diferencias sistemáticas entre los conjuntos de entrenamiento y validación. Por ejemplo, si un modelo para predecir los valores de las acciones se basa en datos de un determinado período de cinco años, no es realista tratar el siguiente período de cinco años como una extracción de la misma población. Como otro ejemplo, supongamos que se desarrolla un modelo para predecir el riesgo de un individuo de ser diagnosticado con una enfermedad particular durante el próximo año. Si el modelo se entrena utilizando datos de un estudio que involucra solo a un grupo de población específico (por ejemplo, jóvenes o hombres), pero luego se aplica a la población general, los resultados de la validación cruzada del conjunto de entrenamiento podrían diferir mucho del rendimiento predictivo real. .

En muchas aplicaciones, los modelos también pueden especificarse incorrectamente y variar en función de sesgos del modelador y/o elecciones arbitrarias. Cuando esto ocurre, puede haber una ilusión de que el sistema cambia en muestras externas, mientras que la razón es que el modelo ha omitido un predictor crítico y/o ha incluido un predictor confuso. La nueva evidencia es que la validación cruzada por sí sola no predice mucho la validez externa, mientras que una forma de validación experimental conocida como muestreo de intercambio que controla el sesgo humano puede predecir mucho más la validez externa. ^[28] Como se define en este gran estudio MAQC-II en 30.000 modelos, el muestreo de intercambio incorpora validación cruzada en el sentido de que las predicciones se prueban a través de muestras de validación y entrenamiento independientes. Sin embargo, los modelos también se desarrollan a partir de estas muestras independientes y por modeladores que no se conocen entre sí. Cuando hay una discrepancia en estos modelos desarrollados a través de estas muestras de capacitación y validación intercambiadas, como sucede con bastante frecuencia, MAQC-II muestra que esto será mucho más predictivo de una validez predictiva externa deficiente que la validación cruzada tradicional.

La razón del éxito del muestreo intercambiado es un control incorporado de los sesgos humanos en la construcción de modelos. Además de depositar demasiada fe en predicciones que pueden variar entre los modeladores y conducir a una validez externa deficiente debido a estos efectos confusos del modelador, estas son otras formas en las que se puede abusar de la validación cruzada:

• Realizando un análisis inicial para identificar las características más informativas utilizando todo el conjunto de datos; si el procedimiento de modelado requiere la selección de características o el ajuste del modelo, esto debe repetirse en cada conjunto de entrenamiento. De lo contrario, las predicciones seguramente estarán sesgadas al alza. ^[29] Si se utiliza la validación cruzada para decidir qué características usar, se debe realizar una validación cruzada interna para llevar a cabo la selección de características en cada conjunto de entrenamiento. ^[30]
• Realizar centrado en la media, reescalado, reducción de dimensionalidad, eliminación de valores atípicos o cualquier otro preprocesamiento dependiente de los datos utilizando todo el conjunto de datos. Si bien es muy común en la práctica, se ha demostrado que esto introduce sesgos en las estimaciones de validación cruzada. ^[31]
• Al permitir que algunos de los datos de entrenamiento también se incluyan en el conjunto de prueba, esto puede suceder debido al "hermanamiento" en el conjunto de datos, por el cual algunas muestras exactamente idénticas o casi idénticas están presentes en el conjunto de datos. Hasta cierto punto, el hermanamiento siempre se produce incluso en muestras de formación y validación perfectamente independientes. Esto se debe a que algunas de las observaciones de la muestra de entrenamiento tendrán valores de predictores casi idénticos a los de las observaciones de la muestra de validación. Y algunos de estos se correlacionarán con un objetivo en niveles mejores que los de probabilidad en la misma dirección tanto en el entrenamiento como en la validación cuando en realidad están impulsados ​​por predictores confundidos con poca validez externa. Si dicho modelo con validación cruzada se selecciona de un conjunto de k veces, el sesgo de confirmación humana estará presente y determinará que dicho modelo ha sido validado. Esta es la razón por la que la validación cruzada tradicional debe complementarse con controles para el sesgo humano y la especificación confusa del modelo, como el muestreo de intercambio y los estudios prospectivos.

Validación cruzada para modelos de series temporales.

Dado que el orden de los datos es importante, la validación cruzada ^{[ especificar ]} podría resultar problemática para los modelos de series temporales . Un enfoque más apropiado podría ser utilizar una validación cruzada continua. ^[32]

Sin embargo, si el rendimiento se describe mediante una única estadística resumida , es posible que el enfoque descrito por Politis y Romano como un bootstrap estacionario ^[33] funcione. La estadística del bootstrap debe aceptar un intervalo de la serie temporal y devolver la estadística resumida sobre él. La llamada al arranque estacionario debe especificar una longitud de intervalo media adecuada.

Aplicaciones

La validación cruzada se puede utilizar para comparar el rendimiento de diferentes procedimientos de modelado predictivo. Por ejemplo, supongamos que estamos interesados ​​en el reconocimiento óptico de caracteres y estamos considerando utilizar una máquina de vectores de soporte (SVM) o k vecinos más cercanos (KNN) para predecir el carácter verdadero a partir de una imagen de un carácter escrito a mano. Usando validación cruzada, podemos obtener estimaciones empíricas comparando estos dos métodos en términos de sus respectivas fracciones de caracteres mal clasificados. Por el contrario, la estimación dentro de la muestra no representará la cantidad de interés (es decir, el error de generalización). ^[34]

La validación cruzada también se puede utilizar en la selección de variables . ^[35] Supongamos que estamos utilizando los niveles de expresión de 20 proteínas para predecir si un paciente con cáncer responderá a un fármaco . Un objetivo práctico sería determinar qué subconjunto de las 20 características debería utilizarse para producir el mejor modelo predictivo. Para la mayoría de los procedimientos de modelado, si comparamos subconjuntos de características utilizando las tasas de error en la muestra, el mejor rendimiento se producirá cuando se utilicen las 20 características. Sin embargo, bajo validación cruzada, el modelo con el mejor ajuste generalmente incluirá solo un subconjunto de las características que se consideran verdaderamente informativas.

Un avance reciente en las estadísticas médicas es su uso en el metanálisis. Constituye la base de la estadística de validación, Vn, que se utiliza para probar la validez estadística de las estimaciones resumidas del metanálisis. ^[36] También se ha utilizado en un sentido más convencional en el metanálisis para estimar el probable error de predicción de los resultados del metanálisis. ^[37]

Ver también

• Impulsar (aprendizaje automático)
• Agregación Bootstrap (embolsado)
  • Error de falta de bolsa
• Bootstrapping (estadísticas)
• Fuga (aprendizaje automático)
• Selección de modelo
• Estabilidad (teoría del aprendizaje)
• Validez (estadísticas)

notas y referencias

1. Piryonesi S. Madeh; El-Diraby Tamer E. (1 de marzo de 2020). "Análisis de datos en la gestión de activos: predicción rentable del índice de condición del pavimento". Revista de sistemas de infraestructura . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
2. Allen, David M (1974). "La relación entre la selección de variables y la amplificación de datos y un método de predicción". Tecnometría . 16 (1): 125-127. doi :10.2307/1267500. JSTOR  1267500.
3. Piedra, M (1974). "Elección de validación cruzada y evaluación de predicciones estadísticas". Revista de la Royal Statistical Society, Serie B (Metodológica) . 36 (2): 111-147. doi :10.1111/j.2517-6161.1974.tb00994.x. S2CID  62698647.
4. Piedra, M (1977). "Una equivalencia asintótica de elección de modelo mediante validación cruzada y criterio de Akaike". Revista de la Royal Statistical Society, Serie B (Metodológica) . 39 (1): 44–47. doi :10.1111/j.2517-6161.1977.tb01603.x. JSTOR  2984877.
5. Geisser, Seymour (1993). Inferencia predictiva . Nueva York, Nueva York: Chapman y Hall. ISBN 978-0-412-03471-8.
6. Kohavi, Ron (1995). "Un estudio de validación cruzada y bootstrap para estimación de precisión y selección de modelos". Actas de la Decimocuarta Conferencia Internacional Conjunta sobre Inteligencia Artificial . San Mateo, California: Morgan Kaufmann. 2 (12): 1137–1143. CiteSeerX 10.1.1.48.529 . 
7. Devijver, Pierre A.; Kittler, Josef (1982). Reconocimiento de patrones: un enfoque estadístico . Londres, GB: Prentice-Hall. ISBN 0-13-654236-0.
8. Galkin, Alexander (28 de noviembre de 2011). "¿Cuál es la diferencia entre el conjunto de prueba y el conjunto de validación?". Validación cruzada . Intercambio de pila . Consultado el 10 de octubre de 2018 .
9. "Pregunta de novato: ¡Confundido acerca de los datos de entrenamiento, validación y prueba!". Investigación Heaton . Diciembre de 2010. Archivado desde el original el 14 de marzo de 2015 . Consultado el 14 de noviembre de 2013 .
10. Cawley, Gavin C.; Talbot, Nicola LC (2010). "Sobre el sobreajuste en la selección de modelos y el sesgo de selección posterior en la evaluación del desempeño" (PDF) . Revista de investigación sobre aprendizaje automático . 11 : 2079-2107. Archivado (PDF) desde el original el 4 de febrero de 2024.
11. Grossman, Robert; Seni, Giovanni; Anciano, Juan; Agarwal, Nitin; Liu, Huan (2010). "Métodos conjuntos en minería de datos: mejora de la precisión mediante la combinación de predicciones". Conferencias de síntesis sobre minería de datos y descubrimiento de conocimiento . Morgan y Claypool. 2 : 1–126. doi :10.2200/S00240ED1V01Y200912DMK002.
12. Trippa, Lorenzo; Waldron, Levi; Huttenhower, Curtis; Parmigiani, Giovanni (marzo de 2015). "Validación de métodos de predicción mediante estudios cruzados no paramétricos bayesianos". Los anales de la estadística aplicada . 9 (1): 402–428. arXiv : 1506.00474 . Código Bib : 2015arXiv150600474T. doi :10.1214/14-AOAS798. ISSN  1932-6157. S2CID  51943497.
13. Celisse, Alain (1 de octubre de 2014). "Validación cruzada óptima en la estimación de densidad con la pérdida de $ L^{2}$". Los anales de la estadística . 42 (5): 1879-1910. arXiv : 0811.0802 . doi :10.1214/14-AOS1240. ISSN  0090-5364. S2CID  17833620.
14. Airola, A.; Pahikkala, T.; Waegeman, W.; De Baets, Bernard; Salakoski, T. (1 de abril de 2011). "Una comparación experimental de técnicas de validación cruzada para estimar el área bajo la curva ROC". Estadística computacional y análisis de datos . 55 (4): 1828–1844. doi :10.1016/j.csda.2010.11.018.
15. Molinaro, AM; Simón, R.; Pfeiffer, RM (1 de agosto de 2005). "Estimación del error de predicción: una comparación de métodos de remuestreo". Bioinformática . 21 (15): 3301–3307. doi : 10.1093/bioinformática/bti499 . ISSN  1367-4803. PMID  15905277.
16. McLachlan, Geoffrey J.; Hazlo, Kim-Anh ; Ambroise, Christophe (2004). "Análisis de datos de expresión génica de microarrays ". Wiley.
17. "Elementos del aprendizaje estadístico: extracción de datos, inferencia y predicción. 2ª edición". web.stanford.edu . Consultado el 4 de abril de 2019 .
18. Vanwinckelen, Gitte (2 de octubre de 2019). Sobre la estimación de la precisión del modelo con validación cruzada repetida. págs. 39–44. ISBN 9789461970442.
19. Soper, Daniel S. (2021). "La codicia es buena: optimización rápida de hiperparámetros y selección de modelos mediante validación cruzada codiciosa de k-Fold" (PDF) . Electrónica . 10 (16): 1973. doi : 10.3390/electronics10161973 .
20. "Validación cruzada" . Consultado el 11 de noviembre de 2012 .
21. Arlot, Sylvain; Celisse, Alain (2010). "Un estudio de procedimientos de validación cruzada para la selección de modelos". Encuestas Estadísticas . 4 : 40–79. arXiv : 0907.4728 . doi :10.1214/09-SS054. S2CID  14332192. En resumen, CV consiste en promediar varios estimadores de riesgo correspondientes a diferentes divisiones de datos.
22. Dubitzky, Werner; Granzow, Martín; Berrar, Daniel (2007). Fundamentos de la minería de datos en genómica y proteómica . Medios de ciencia y negocios de Springer. pag. 178.
23. Kuhn, Max; Johnson, Kjell (2013). Modelado predictivo aplicado . Nueva York, Nueva York: Springer Nueva York. doi :10.1007/978-1-4614-6849-3. ISBN 9781461468486.
24. Cantzler, H. "Consenso de muestra aleatoria (RANSAC)". Instituto de Percepción, Acción y Comportamiento, División de Informática, Universidad de Edimburgo. Archivado desde el original el 4 de febrero de 2023.
25. Hoornweg, Víctor (2018). Ciencia: bajo presentación. Prensa Hoornweg. ISBN 978-90-829188-0-9.
26. Efron, Bradley; Tibshirani, Robert (1997). "Mejoras en la validación cruzada: el método Bootstrap .632 +". Revista de la Asociación Estadounidense de Estadística . 92 (438): 548–560. doi :10.2307/2965703. JSTOR  2965703. SEÑOR  1467848.
27. Piedra, Mervyn (1977). "Asintóticas a favor y en contra de la validación cruzada". Biometrika . 64 (1): 29–35. doi :10.1093/biomet/64.1.29. JSTOR  2335766. SEÑOR  0474601.
28. Consorcio, MAQC (2010). "El estudio de Microarray Quality Control (MAQC) -II de prácticas comunes para el desarrollo y validación de modelos predictivos basados ​​en microarrays". Biotecnología de la Naturaleza . Londres: Nature Publishing Group. 28 (8): 827–838. doi :10.1038/nbt.1665. PMC 3315840 . PMID  20676074. 
29. Bermingham, Mairead L.; Pong-Wong, Ricardo; Spiliopoulou, Athina; Hayward, Carolina; Rudán, Igor; Campbell, Harry; Wright, Alan F.; Wilson, James F.; Agakov, Félix; Navarro, Pau; Haley, Chris S. (2015). "Aplicación de la selección de características de alta dimensión: evaluación para la predicción genómica en el hombre". Ciencia. Rep. 5 : 10312. Código Bib : 2015NatSR...510312B. doi :10.1038/srep10312. PMC 4437376 . PMID  25988841.  
30. Varma, Sudhir; Simón, Richard (2006). "Sesgo en la estimación de errores al utilizar validación cruzada para la selección de modelos". Bioinformática BMC . 7 : 91. doi : 10.1186/1471-2105-7-91 . PMC 1397873 . PMID  16504092. 
31. Moscovich, Amit; Rosset, Saharon (1 de septiembre de 2022). "Sobre el sesgo de validación cruzada debido al preprocesamiento no supervisado". Revista de la Royal Statistical Society Serie B: Metodología estadística . 84 (4): 1474-1502. arXiv : 1901.08974 . doi :10.1111/rssb.12537. S2CID  215745385.
32. Bergmeir, Cristóbal; Benítez, José (2012). "Sobre el uso de validación cruzada para la evaluación de predictores de series temporales". Ciencias de la Información . 191 : 192-213. doi :10.1016/j.ins.2011.12.028 - vía Elsevier Science Direct.
33. Politis, Dimitris N.; Romano, José P. (1994). "El Bootstrap estacionario". Revista de la Asociación Estadounidense de Estadística . 89 (428): 1303-1313. doi :10.1080/01621459.1994.10476870. hdl : 10983/25607 .
34. Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome H. (2009). Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción. Saltador. ISBN 978-0-387-84884-6.
35. Picard, Richard; Cocinero, Dennis (1984). "Validación cruzada de modelos de regresión". Revista de la Asociación Estadounidense de Estadística . 79 (387): 575–583. doi :10.2307/2288403. JSTOR  2288403.
36. Willis BH, Riley RD (2017). "Medición de la validez estadística de los resultados resumidos del metanálisis y la metarregresión para su uso en la práctica clínica". Estadística en Medicina . 36 (21): 3283–3301. doi :10.1002/sim.7372. PMC 5575530 . PMID  28620945. 
37. Riley RD, Ahmed I, Debray TP, Willis BH, Noordzij P, Higgins JP, Deeks JJ (2015). "Resumir y validar los resultados de precisión de las pruebas en múltiples estudios para su uso en la práctica clínica". Estadística en Medicina . 34 (13): 2081-2103. doi :10.1002/sim.6471. PMC 4973708 . PMID  25800943.