stringtranslate.com

Borrador: cambio de covariable



Covariate Shift es un fenómeno en el aprendizaje automático y las estadísticas donde la distribución de las características de entrada ( covariables ) cambia entre los conjuntos de datos de entrenamiento y de prueba , lo que generalmente afecta el rendimiento de un modelo de aprendizaje automático. [1] Es un desafío común que se enfrenta en aplicaciones del mundo real, ya que los modelos a menudo se entrenan con datos históricos y se espera que se generalicen a datos nuevos e invisibles. [2] El cambio de covariable puede conducir a una disminución del rendimiento del modelo o incluso al fallo del modelo, [3] ya que viola el supuesto de que los datos de entrenamiento y prueba siguen la misma distribución.

El cambio de covariables también se conoce como cambio de dominio y es un caso especial de cambio de conjunto de datos donde solo cambian las covariables (entradas). Es decir, sólo cambios. Esto es distinto tanto del cambio de etiqueta (donde cambia) como de la deriva de concepto (donde cambia). [4]

Definición matemática

El cambio de covariable puro ocurre cuando la distribución de las características de entrada cambia entre los datos de entrenamiento y de prueba, mientras que la distribución condicional de la variable objetivo dadas las características de entrada sigue siendo la misma. [5] Denotemos la distribución de las características de entrada en los datos de entrenamiento y denotemos la distribución en los datos de prueba. El cambio de covariable se define como:

donde representa las características de entrada, representa la variable de destino y es el espacio de características. [6]

Medición del cambio de covariables

El cambio de covariables generalmente se mide mediante distancias estadísticas , divergencias y pruebas de dos muestras . Algunos métodos de medición funcionan con características continuas, otros con características categóricas y algunos con ambas. Además, algunos métodos son capaces de medir la deriva univariada mientras que otros son capaces de medir la deriva multivariada .

Distancias estadísticas

Divergencias

Pruebas de dos muestras

Software para medir el cambio de covariables

Pitón

Cambio covariable univariado versus multivariado

El cambio de covariables puede ocurrir de diferentes formas según la cantidad de características involucradas. El cambio covariable univariado implica que una sola característica experimente un cambio en la distribución, mientras que el cambio covariable multivariado puede implicar que múltiples características cambien simultáneamente o alteraciones en la estructura de correlación entre características.

Cambio covariable univariante

El cambio de covariable univariante ocurre cuando la distribución de una sola característica cambia entre los conjuntos de datos de entrenamiento y de prueba. Como involucra solo una dimensión, el cambio de covariable univariado es generalmente más sencillo de detectar y abordar en comparación con su contraparte multivariante. Las técnicas comunes para detectar cambios de covariables univariados incluyen distancias estadísticas como la distancia de Jensen-Shannon y la distancia de Wasserstein (movimiento de tierras) .

Cambio de covariable multivariado

El cambio de covariable multivariado surge cuando las distribuciones de múltiples características cambian simultáneamente entre los conjuntos de datos de entrenamiento y de prueba o cuando se altera la estructura de correlación entre características. El último caso, donde las distribuciones marginales de características individuales permanecen sin cambios pero las dependencias entre ellas cambian, puede ser particularmente difícil de detectar y manejar. En el cambio de covariables multivariado, la complejidad del cambio de distribución y las posibles interacciones entre características requieren técnicas de detección más avanzadas.

Para abordar el cambio de covariables multivariado, se pueden emplear técnicas como la discrepancia media máxima (MMD) con funciones del núcleo apropiadas que consideran las relaciones entre múltiples características.

Cambio de covariable interno

El término cambio de covariable interno se introdujo en " Normalización por lotes: acelerar el entrenamiento de red profunda reduciendo el cambio de covariable interno " . [9] El cambio de covariable interno ocurre cuando la distribución de las entradas de una capa oculta determinada en una red neuronal cambia debido a los parámetros de una capa anterior cambiando. Se plantea la hipótesis de que la normalización por lotes puede reducir el cambio de covariables internas, [9] sin embargo, esto es controvertido. [10]

Diferencia entre cambio de covariables y deriva de conceptos

El cambio de covariables y la deriva de conceptos son dos fenómenos relacionados pero distintos en el aprendizaje automático, y ambos implican cambios en la distribución de datos subyacentes. El cambio de covariables y la deriva de conceptos pueden ocurrir de forma independiente o simultánea, y ambos pueden afectar negativamente el rendimiento de los modelos de aprendizaje automático.

La principal diferencia entre el cambio de covariables y la deriva de conceptos es que el cambio de covariables se refiere a cambios en la distribución de las características de entrada entre los conjuntos de datos de entrenamiento y de prueba, mientras que la deriva de conceptos implica cambios en la relación entre las características de entrada y la variable objetivo a lo largo del tiempo. En el cambio de covariables, la relación subyacente entre las características y el objetivo permanece constante, mientras que, en la deriva de conceptos, esta relación en sí misma cambia debido a procesos en evolución o factores externos.

Ver también

Referencias

  1. ^ Huyen, Chip (7 de febrero de 2022). "Seguimiento y turnos de distribución de datos". Chip Huyen . Consultado el 27 de febrero de 2024 .
  2. ^ Sugiyama, Masashi; Kawanabe, Motoaki (30 de marzo de 2012). Aprendizaje automático en entornos no estacionarios: introducción a la adaptación al cambio de covariables. La prensa del MIT. doi : 10.7551/mitpress/9780262017091.003.0007. ISBN 978-0-262-01709-1.
  3. ^ Bábic, Boris; Cohen, I. Glenn; Evgeniou, Theodoros; Gerke, Sara (1 de enero de 2021). "Cuando el aprendizaje automático se descarrila". Revisión de negocios de Harvard . ISSN  0017-8012 . Consultado el 2 de marzo de 2024 .
  4. ^ Ataei, Erdogdu, Kocak, Ben-David, Saleh, Pesaranghader, Alberts-Scherer, Sanchez, Ghazi, Nguyen, Khayrat, Zhao. "Comprensión del cambio de conjunto de datos y posibles soluciones" (PDF) . Consultado el 2 de marzo de 2024 .{{cite web}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace )
  5. ^ Y, Geeta Dharani.; Nair, Nimisha G; Satpatía, Pallavi; Christopher, Jabez (octubre de 2019). "Cambio de covariables: una revisión y análisis de clasificadores". Conferencia Mundial para el Avance de la Tecnología (GCAT) de 2019 . IEEE. págs. 1–6. doi :10.1109/GCAT47503.2019.8978471. ISBN 978-1-7281-3694-3. S2CID  211058700.
  6. ^ Quiñonero-Candela, Joaquín, ed. (2009). Cambio de conjunto de datos en el aprendizaje automático . Serie de procesamiento de información neuronal. Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-17005-5.
  7. ^ Gretton, Arturo; Borgwardt, Karsten M.; Rasch, Malte JM; Scholkopf, Bernhard; Smola, Alejandro (2012). "Una prueba de dos muestras del kernel" (PDF) . La revista de investigación sobre aprendizaje automático . 13 : 723–773.
  8. ^ Rüschendorf, Ludger (1 de marzo de 1985). "Los teoremas de aproximación y distancia de Wasserstein". Teoría de la probabilidad y campos relacionados . 70 (1): 117-129. doi :10.1007/BF00532240. ISSN  1432-2064.
  9. ^ ab Ioffe, Sergey; Szegedy, Christian (2 de marzo de 2015), Normalización de lotes: aceleración del entrenamiento profundo de la red mediante la reducción del cambio de covariables interno , arXiv : 1502.03167
  10. ^ Santurkar, Shibani; Tsipras, Dimitris; Ilyas, Andrés; Madry, Aleksander (14 de abril de 2019), ¿Cómo ayuda la normalización por lotes a la optimización? , arXiv : 1805.11604

Categoría:Minería de datos Categoría:Aprendizaje automático Categoría:Análisis de datos