Aprendizaje autosupervisado

En primer lugar, la tarea se resuelve basándose en una tarea de clasificación auxiliar o de pretexto utilizando pseudoetiquetas que ayudan a iniciar los parámetros del modelo.El aprendizaje autosupervisado imita más de cerca el modo en que los humanos aprenden a clasificar objetos.[9]​ El aprendizaje autosupervisado no contrastivo (en inglés: non-contrastive self-supervised learning, NCSSL) sólo utiliza ejemplos positivos.Contraintuitivamente, el NCSSL converge en un mínimo local útil en lugar de alcanzar una solución trivial, con pérdida cero.[3]​ En el aprendizaje por transferencia, un modelo diseñado para una tarea se reutiliza en otra diferente.Por ejemplo, Facebook desarrolló wav2vec, un algoritmo autosupervisado, para realizar el reconocimiento del habla utilizando dos redes neuronales convolucionales profundas que se complementan entre sí.Puede utilizarse para traducir textos o responder preguntas, entre otras cosas.[15]​ El algoritmo Yarowsky es un ejemplo de aprendizaje autosupervisado en el procesamiento del lenguaje natural.Balestriero; Sobal; Morcos; Shekhar; Goldstein; Bordes; Mialon; Tian et ál.