stringtranslate.com

Transferir aprendizaje

Ilustración del aprendizaje por transferencia

El aprendizaje por transferencia ( TL ) es una técnica de aprendizaje automático (ML) en la que el conocimiento aprendido de una tarea se reutiliza para mejorar el rendimiento en una tarea relacionada. [1] Por ejemplo, para la clasificación de imágenes , el conocimiento adquirido al aprender a reconocer automóviles podría aplicarse al intentar reconocer camiones. Este tema está relacionado con la literatura psicológica sobre la transferencia de aprendizaje , aunque los vínculos prácticos entre los dos campos son limitados. Reutilizar/transferir información de tareas previamente aprendidas a nuevas tareas tiene el potencial de mejorar significativamente la eficiencia del aprendizaje. [2]

Dado que el aprendizaje por transferencia utiliza capacitación con múltiples funciones objetivas, está relacionado con el aprendizaje automático sensible a los costos y la optimización multiobjetivo [3]

Historia

En 1976, Bozinovski y Fulgosi publicaron un artículo sobre el aprendizaje por transferencia en el entrenamiento de redes neuronales . [4] [5] El artículo ofrece un modelo matemático y geométrico del tema. En 1981, un informe consideró la aplicación del aprendizaje por transferencia a un conjunto de datos de imágenes que representan letras de terminales de computadora, demostrando experimentalmente el aprendizaje por transferencia positiva y negativa. [6]

En 1992, Pratt formuló el algoritmo de transferencia basada en discriminabilidad (DBT). [7]

En 1997, Pratt y Thrun editaron como invitados un número especial de Machine Learning dedicado al aprendizaje por transferencia, [8] y en 1998, el campo había avanzado para incluir el aprendizaje multitarea , [9] junto con fundamentos teóricos más formales. [10] Learning to Learn , [11] editado por Thrun y Pratt, es una revisión del tema realizada en 1998.

El aprendizaje por transferencia se ha aplicado en la ciencia cognitiva . Pratt fue editor invitado de un número de Connection Science sobre la reutilización de redes neuronales mediante transferencia en 1996. [12]

Ng dijo en su tutorial NIPS 2016 [13] [14] [15] que TL se convertiría en el próximo impulsor del éxito comercial del aprendizaje automático después del aprendizaje supervisado .

En el artículo de 2020, "Rethinking Pre-Training and self-training", [16] Zoph et al. informó que el entrenamiento previo puede perjudicar la precisión y, en su lugar, recomienda el autoentrenamiento.

Aplicaciones

Hay algoritmos disponibles para el aprendizaje por transferencia en redes lógicas de Markov [17] y redes bayesianas . [18] El aprendizaje por transferencia se ha aplicado al descubrimiento de subtipos de cáncer, [19] utilización de edificios , [20] [21] juegos generales , [22] clasificación de textos , [23] [24] reconocimiento de dígitos, [25] imágenes médicas y filtrado de spam . [26]

En 2020 se descubrió que, debido a sus naturalezas físicas similares, es posible transferir el aprendizaje entre señales electromiográficas (EMG) de los músculos y clasificar los comportamientos de las ondas cerebrales electroencefalográficas (EEG), desde el dominio de reconocimiento de gestos hasta el dominio de reconocimiento del estado mental. Se observó que esta relación funcionaba en ambas direcciones, lo que demuestra que la electroencefalografía también puede usarse para clasificar la EMG. [27] Los experimentos observaron que la precisión de las redes neuronales y las redes neuronales convolucionales mejoró [28] mediante el aprendizaje por transferencia tanto antes de cualquier aprendizaje (en comparación con la distribución de peso aleatoria estándar) como al final del proceso de aprendizaje (asíntota). Es decir, los resultados mejoran al exponerse a otro dominio. Además, el usuario final de un modelo previamente entrenado puede cambiar la estructura de capas completamente conectadas para mejorar el rendimiento. [29]

Software

Transferir aprendizaje y adaptación de dominio.

Se han implementado varias compilaciones de algoritmos de adaptación de dominio y aprendizaje por transferencia:

Ver también

Referencias

  1. ^ Oeste, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Presentación de investigación de primavera: una base teórica para la transferencia inductiva". Universidad Brigham Young, Facultad de Ciencias Físicas y Matemáticas. Archivado desde el original el 1 de agosto de 2007 . Consultado el 5 de agosto de 2007 .
  2. ^ George Karimpanal, Thommen; Bouffanais, Roland (2019). "Mapas autoorganizados para el almacenamiento y transferencia de conocimientos en el aprendizaje por refuerzo". Comportamiento adaptativo . 27 (2): 111–126. arXiv : 1811.08318 . doi :10.1177/1059712318818568. ISSN  1059-7123. S2CID  53774629.
  3. ^ Aprendizaje automático sensible a los costos. (2011). EE.UU.: CRC Press, página 63, https://books.google.de/books?id=8TrNBQAAQBAJ&pg=PA63
  4. ^ Stevo. Bozinovski y Ante Fulgosi (1976). "La influencia de la similitud de patrones y la transferencia de aprendizaje en el entrenamiento de un perceptrón base B2". (original en croata) Actas del Simposio Informatica 3-121-5, Bled.
  5. ^ Stevo Bozinovski (2020) "Recordatorio del primer artículo sobre aprendizaje por transferencia en redes neuronales, 1976". Informática 44: 291–302.
  6. ^ S. Bozinovski (1981). "Espacio de enseñanza: un concepto de representación para la clasificación de patrones adaptativos". Informe técnico de COINS, Universidad de Massachusetts en Amherst, No 81-28 [disponible en línea: UM-CS-1981-028.pdf]
  7. ^ Pratt, LY (1992). "Transferencia basada en discriminabilidad entre redes neuronales" (PDF) . Conferencia NIPS: Avances en sistemas de procesamiento de información neuronal 5. Editores Morgan Kaufmann. págs. 204-211.
  8. ^ Pratt, LY; Thrun, Sebastián (julio de 1997). "Aprendizaje automático: número especial sobre transferencia inductiva". enlace.springer.com . Saltador . Consultado el 10 de agosto de 2017 .
  9. ^ Caruana, R., "Aprendizaje multitarea", págs. 95-134 en Thrun & Pratt 2012
  10. ^ Baxter, J., "Modelos teóricos de aprender a aprender", págs. 71-95 Thrun & Pratt 2012
  11. ^ Thrun y Pratt 2012.
  12. ^ Pratt, L. (1996). "Número especial: Reutilización de redes neuronales mediante transferencia". Ciencia de la conexión . 8 (2) . Consultado el 10 de agosto de 2017 .
  13. ^ Tutorial de NIPS 2016: "Conceptos básicos de la creación de aplicaciones de IA mediante aprendizaje profundo" por Andrew Ng, archivado desde el original el 19 de diciembre de 2021 , consultado el 28 de diciembre de 2019
  14. ^ "Calendario NIPS 2016". nips.cc.​ Consultado el 28 de diciembre de 2019 .
  15. ^ Aspectos prácticos de la creación de aplicaciones de inteligencia artificial mediante aprendizaje profundo, diapositivas
  16. ^ Zoph, Barret (2020). «Repensar la preformación y la autoformación» (PDF) . Avances en los sistemas de procesamiento de información neuronal . 33 : 3833–3845. arXiv : 2006.06882 . Consultado el 20 de diciembre de 2022 .
  17. ^ Mihalkova, Lilyana; Huynh, Tuyen; Mooney, Raymond J. (julio de 2007), "Mapeo y revisión de redes lógicas de Markov para transferencia" (PDF) , Actas de aprendizaje de la 22ª Conferencia AAAI sobre inteligencia artificial (AAAI-2007) , Vancouver, BC, págs . recuperado el 5 de agosto de 2007{{citation}}: Mantenimiento CS1: falta el editor de la ubicación ( enlace )
  18. ^ Niculescu-Mizil, Alexandru; Caruana, Rich (21 al 24 de marzo de 2007), "Transferencia inductiva para el aprendizaje de estructuras de redes bayesianas" (PDF) , Actas de la undécima conferencia internacional sobre inteligencia artificial y estadística (AISTATS 2007) , consultado el 5 de agosto de 2007.
  19. ^ Hajiramezanali, E. & Dadaneh, SZ & Karbalayghareh, A. & Zhou, Z. & Qian, X. Aprendizaje bayesiano multidominio para el descubrimiento de subtipos de cáncer a partir de datos de recuento de secuenciación de próxima generación. 32.a Conferencia sobre sistemas de procesamiento de información neuronal (NeurIPS 2018), Montreal, Canadá. arXiv : 1810.09433
  20. ^ Arief-Ang, IB; Salim, FD; Hamilton, M. (8 de noviembre de 2017). DA-HOC: adaptación de dominio semisupervisada para la predicción de ocupación de habitaciones utilizando datos de sensores de CO2. 4ª Conferencia Internacional ACM sobre Sistemas para Entornos Construidos Energéticamente Eficientes (BuildSys). Delft, Países Bajos. págs. 1–10. doi :10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.
  21. ^ Arief-Ang, IB; Hamilton, M.; Salim, FD (1 de diciembre de 2018). "Una predicción escalable de la ocupación de habitaciones con descomposición de series temporales transferibles de datos del sensor de CO2". Transacciones ACM en redes de sensores . 14 (3–4): 21:1–21:28. doi :10.1145/3217214. S2CID  54066723.
  22. ^ Banerjee, Bikramjit y Peter Stone. "Aprendizaje general de juegos mediante la transferencia de conocimientos". IJCAI. 2007.
  23. ^ Hazlo, Chuong B.; Ng, Andrew Y. (2005). "Transferir aprendizaje para clasificación de textos". Fundación de sistemas de procesamiento de información neuronal, NIPS * 2005 (PDF) . Consultado el 5 de agosto de 2007 .
  24. ^ Rajat, Raina; Ng, Andrés Y.; Koller, Dafne (2006). "Construcción de antecedentes informativos mediante el aprendizaje por transferencia". Vigésimo tercer Congreso Internacional sobre Aprendizaje Automático (PDF) . Consultado el 5 de agosto de 2007 .
  25. ^ Maitra, DS; Bhattacharya, U.; Parui, SK (agosto de 2015). "Enfoque común basado en CNN para el reconocimiento de caracteres escritos a mano de múltiples guiones". 2015 13ª Conferencia Internacional sobre Análisis y Reconocimiento de Documentos (ICDAR) . págs. 1021-1025. doi :10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. S2CID  25739012.
  26. ^ Bickel, Steffen (2006). "Descripción general del desafío de descubrimiento ECML-PKDD 2006". Taller del desafío de descubrimiento ECML-PKDD (PDF) . Consultado el 5 de agosto de 2007 .
  27. ^ Pájaro, Jordan J.; Kobylarz, Jhonatan; Faria, Diego R.; Ekart, Aniko; Ribeiro, Eduardo P. (2020). "Aprendizaje de transferencia de MLP y CNN entre dominios para el procesamiento de señales biológicas: EEG y EMG". Acceso IEEE . Instituto de Ingenieros Eléctricos y Electrónicos (IEEE). 8 : 54789–54801. doi : 10.1109/acceso.2020.2979074 . ISSN  2169-3536.
  28. ^ Maitra, Durjoy Sen; Bhattacharya, Ujjwal; Parui, Swapan K. (agosto de 2015). "Enfoque común basado en CNN para el reconocimiento de caracteres escritos a mano de múltiples guiones". 2015 13ª Conferencia Internacional sobre Análisis y Reconocimiento de Documentos (ICDAR) . págs. 1021-1025. doi :10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. S2CID  25739012.
  29. ^ Kabir, HM Dipu; Abdar, Moloud; Jalali, Seyed Mohammad Jafar; Cosravi, Abbas; Atiya, Amir F.; Nahavandi, Saeid; Srinivasan, Dipti (7 de enero de 2022). "SpinalNet: red neuronal profunda con entrada gradual". Transacciones IEEE sobre inteligencia artificial : 1–13. arXiv : 2007.03347 . doi :10.1109/TAI.2022.3185179. S2CID  220381239.
  30. ^ de Mathelin, Antoine y Deheeger, François y Richard, Guillaume y Mougeot, Mathilde y Vayatis, Nicolas (2020) "ADAPT: impresionante caja de herramientas de Python para la adaptación de dominios"
  31. ^ Mingsheng Long Junguang Jiang, Bo Fu. (2020) "Biblioteca de transferencia-aprendizaje"
  32. ^ Ke Yan. (2016) "Caja de herramientas de adaptación de dominios"

Fuentes