El aprendizaje multimodal , en el contexto del aprendizaje automático , es un tipo de aprendizaje profundo que utiliza múltiples modalidades de datos, como texto, audio o imágenes.
Por el contrario, los modelos unimodales pueden procesar solo un tipo de datos, como texto (normalmente representado como vectores de características ) o imágenes. El aprendizaje multimodal es diferente de combinar modelos unimodales entrenados de forma independiente. Combina información de diferentes modalidades para realizar mejores predicciones. [1]
Los grandes modelos multimodales, como Google Gemini y GPT-4o , se han vuelto cada vez más populares desde 2023, lo que permite una mayor versatilidad y una comprensión más amplia de los fenómenos del mundo real. [2]
Los datos suelen venir en diferentes modalidades que contienen información diferente. Por ejemplo, es muy común poner un título a una imagen para transmitir información que no se presenta en la imagen misma. De manera similar, a veces es más sencillo utilizar una imagen para describir información que puede no ser obvia en el texto. Como resultado, si aparecen palabras diferentes en imágenes similares, es probable que estas palabras describan lo mismo. Por el contrario, si se utiliza una palabra para describir imágenes aparentemente diferentes, entonces estas imágenes pueden representar el mismo objeto. Por lo tanto, en los casos que tratan con datos multimodales, es importante utilizar un modelo que sea capaz de representar conjuntamente la información de manera que el modelo pueda capturar la información combinada de diferentes modalidades.
Los transformadores también se pueden usar/adaptar para modalidades (entrada o salida) más allá del simple texto, generalmente encontrando una manera de "tokenizar" la modalidad.
Los transformadores de visión [3] adaptan el transformador a la visión por computadora descomponiendo las imágenes de entrada como una serie de parches, convirtiéndolas en vectores y tratándolas como tokens en un transformador estándar.
Conformer [4] y posteriormente Whisper [5] siguen el mismo patrón para el reconocimiento de voz , primero convirtiendo la señal de voz en un espectrograma , que luego se trata como una imagen, es decir, se divide en una serie de parches, se convierte en vectores y se trata como fichas en un transformador estándar.
Perceptores de Andrew Jaegle et al. (2021) [6] [7] pueden aprender de grandes cantidades de datos heterogéneos.
Con respecto a la salida de imágenes , Peebles et al introdujeron un transformador de difusión (DiT) que facilita el uso de la arquitectura del transformador para la producción de imágenes basada en difusión . [8] Además, Google lanzó un generador de imágenes centrado en transformadores llamado "Muse" basado en decodificación paralela y tecnología de transformadores generativos enmascarados. [9] (Los transformadores desempeñaron un papel menos central con las tecnologías de producción de imágenes anteriores, [10] aunque sigue siendo importante. [11] )Multimodalidad significa "tener varias modalidades", y una "modalidad" se refiere a un tipo de entrada o salida, como video, imagen, audio, texto, propiocepción , etc. [12] Ha habido muchos modelos de IA entrenados específicamente para ingerir una modalidad y generar otra modalidad, como AlexNet para imagen para etiquetar, [13] respuesta visual a preguntas para imagen-texto a texto, [14] y reconocimiento de voz para voz a texto.
Un método común para crear modelos multimodales a partir de un LLM es "tokenizar" la salida de un codificador entrenado. Concretamente, se puede construir un LLM que pueda comprender imágenes de la siguiente manera: tomar un LLM capacitado y tomar un codificador de imágenes capacitado . Haga un pequeño perceptrón de varias capas , de modo que para cualquier imagen , el vector posprocesado tenga las mismas dimensiones que un token codificado. Eso es un "token de imagen". Luego, se pueden intercalar tokens de texto y tokens de imágenes. Luego, el modelo compuesto se ajusta en un conjunto de datos de imagen y texto. Esta construcción básica se puede aplicar con más sofisticación para mejorar el modelo. El codificador de imágenes puede congelarse para mejorar la estabilidad. [15]
Flamingo demostró la efectividad del método de tokenización, ajustando un par de modelo de lenguaje previamente entrenado y codificador de imágenes para funcionar mejor en la respuesta visual a preguntas que los modelos entrenados desde cero. [16] El modelo PaLM de Google se ajustó a un modelo multimodal PaLM-E utilizando el método de tokenización y se aplicó al control robótico. [17] Los modelos LLaMA también se han vuelto multimodales utilizando el método de tokenización, para permitir entradas de imágenes, [18] y entradas de video. [19]
GPT-4 puede utilizar texto e imagen como entradas [20] (aunque el componente de visión no se lanzó al público hasta GPT-4V [21] ); Gemini de Google DeepMind también es multimodal. [22]Una máquina de Boltzmann es un tipo de red neuronal estocástica inventada por Geoffrey Hinton y Terry Sejnowski en 1985. Las máquinas de Boltzmann pueden verse como la contraparte estocástica y generativa de las redes de Hopfield . Llevan el nombre de la distribución de Boltzmann en mecánica estadística. Las unidades de las máquinas Boltzmann se dividen en dos grupos: unidades visibles y unidades ocultas. Cada unidad es como una neurona con una salida binaria que representa si está activada o no. [23] Las máquinas Boltzmann generales permiten la conexión entre cualquier unidad. Sin embargo, el aprendizaje no es práctico utilizando máquinas Boltzmann generales porque el tiempo de cálculo es exponencial al tamaño de la máquina [ cita necesaria ] . Una arquitectura más eficiente se llama máquina de Boltzmann restringida donde solo se permite la conexión entre la unidad oculta y la unidad visible, que se describe en la siguiente sección.
Las máquinas Boltzmann profundas multimodales pueden procesar y aprender de diferentes tipos de información, como imágenes y texto, simultáneamente. Esto se puede hacer, en particular, teniendo una máquina Boltzmann profunda separada para cada modalidad, por ejemplo una para imágenes y otra para texto, unidas en una capa superior oculta adicional. [24]
Las máquinas Boltzmann profundas multimodales se utilizan con éxito en la clasificación y recuperación de datos faltantes. La precisión de clasificación de la máquina multimodal de Boltzmann profunda supera a las máquinas de vectores de soporte , la asignación latente de Dirichlet y la red de creencias profundas , cuando los modelos se prueban en datos con modalidades de imagen y texto o con modalidad única. [ cita necesaria ] Las máquinas Boltzmann profundas multimodales también pueden predecir las modalidades faltantes dadas las observadas con una precisión razonablemente buena. [ cita necesaria ] El aprendizaje autosupervisado aporta un modelo más interesante y poderoso para la multimodalidad. OpenAI desarrolló modelos CLIP y DALL-E que revolucionaron la multimodalidad.
El aprendizaje profundo multimodal se utiliza para la detección del cáncer ; al menos un sistema en desarrollo integra tipos de datos tan diferentes. [25] [26]
