El aprendizaje multimodal , en el contexto del aprendizaje automático , es un tipo de aprendizaje profundo que utiliza múltiples modalidades de datos, como texto, audio o imágenes.
Por el contrario, los modelos unimodales pueden procesar solo un tipo de datos, como texto (normalmente representado como vectores de características ) o imágenes. El aprendizaje multimodal es diferente de la combinación de modelos unimodales entrenados de forma independiente. Combina información de diferentes modalidades para realizar mejores predicciones. [1]
Los modelos multimodales de gran tamaño, como Google Gemini y GPT-4o , se han vuelto cada vez más populares desde 2023, lo que permite una mayor versatilidad y una comprensión más amplia de los fenómenos del mundo real. [2]
Los datos suelen presentarse en distintas modalidades que transmiten información diferente. Por ejemplo, es muy habitual poner un título a una imagen para transmitir información que no se presenta en la propia imagen. De manera similar, a veces es más sencillo utilizar una imagen para describir información que puede no ser obvia a partir del texto. Como resultado, si aparecen palabras diferentes en imágenes similares, es probable que estas palabras describan lo mismo. Por el contrario, si se utiliza una palabra para describir imágenes aparentemente diferentes, es posible que estas imágenes representen el mismo objeto. Por lo tanto, en los casos en que se manejan datos multimodales, es importante utilizar un modelo que sea capaz de representar conjuntamente la información de modo que el modelo pueda capturar la información combinada de diferentes modalidades.
Los transformadores también se pueden usar/adaptar para modalidades (entrada o salida) más allá del texto, generalmente encontrando una forma de "tokenizar" la modalidad.
Los modelos multimodales se pueden entrenar desde cero o mediante un ajuste fino. Un estudio de 2022 descubrió que los Transformers preentrenados solo en lenguaje natural se pueden ajustar en solo el 0,03 % de los parámetros y volverse competitivos con los LSTM en una variedad de tareas lógicas y visuales, lo que demuestra el aprendizaje por transferencia . [3] El LLaVA era un modelo de visión-lenguaje compuesto por un modelo de lenguaje (Vicuna-13B) [4] y un modelo de visión ( ViT -L/14), conectados por una capa lineal. Solo la capa lineal está ajustada. [5]
Los transformadores de visión [6] adaptan el transformador a la visión por computadora descomponiendo las imágenes de entrada como una serie de parches, convirtiéndolos en vectores y tratándolos como tokens en un transformador estándar.
Conformer [7] y posteriormente Whisper [8] siguen el mismo patrón para el reconocimiento de voz , primero convirtiendo la señal de voz en un espectrograma , que luego se trata como una imagen, es decir, se descompone en una serie de parches, se convierte en vectores y se trata como fichas en un transformador estándar.
Los perceptores [9] [10] son una variante de los transformadores diseñados para la multimodalidad.
Para la generación de imágenes, las arquitecturas notables son DALL-E 1 (2021), Parti (2022), [11] Phenaki (2023), [12] y Muse (2023). [13] A diferencia de los modelos posteriores, DALL-E no es un modelo de difusión. En cambio, utiliza un transformador solo decodificador que genera autorregresivamente un texto, seguido de la representación de token de una imagen, que luego es convertida por un autocodificador variacional en una imagen. [14] Parti es un transformador codificador-decodificador, donde el codificador procesa un mensaje de texto y el decodificador genera una representación de token de una imagen. [15] Muse es un transformador solo codificador que está entrenado para predecir tokens de imagen enmascarados a partir de tokens de imagen desenmascarados. Durante la generación, todos los tokens de entrada están enmascarados y las predicciones de mayor confianza se incluyen para la siguiente iteración, hasta que se predicen todos los tokens. [13] Phenaki es un modelo de conversión de texto a vídeo. Es un transformador enmascarado bidireccional condicionado a tokens de texto precalculados. Los tokens generados se decodifican luego en un vídeo. [12]Multimodalidad significa "tener varias modalidades", y una "modalidad" se refiere a un tipo de entrada o salida, como video, imagen, audio, texto, propiocepción , etc. [16] Ha habido muchos modelos de IA entrenados específicamente para ingerir una modalidad y generar otra modalidad, como AlexNet para imagen a etiqueta, [17] respuesta visual a preguntas para imagen-texto a texto, [18] y reconocimiento de voz para voz a texto.
Un método común para crear modelos multimodales a partir de un LLM es "tokenizar" la salida de un codificador entrenado. Concretamente, se puede construir un LLM que pueda entender imágenes de la siguiente manera: tomar un LLM entrenado y tomar un codificador de imágenes entrenado . Hacer un pequeño perceptrón multicapa , de modo que para cualquier imagen , el vector posprocesado tenga las mismas dimensiones que un token codificado. Eso es un "token de imagen". Luego, se pueden intercalar tokens de texto y tokens de imagen. El modelo compuesto se ajusta entonces con precisión en un conjunto de datos de imagen-texto. Esta construcción básica se puede aplicar con más sofisticación para mejorar el modelo. El codificador de imágenes se puede congelar para mejorar la estabilidad. [19]
Flamingo demostró la eficacia del método de tokenización, ajustando un par de modelos de lenguaje preentrenados y codificadores de imágenes para que tuvieran un mejor desempeño en la respuesta visual a preguntas que los modelos entrenados desde cero. [20] El modelo Google PaLM se ajustó para convertirlo en un modelo multimodal PaLM-E utilizando el método de tokenización y se aplicó al control robótico. [21] Los modelos LLaMA también se han convertido en multimodales utilizando el método de tokenización para permitir entradas de imágenes [22] y entradas de video. [23]
GPT-4 puede utilizar tanto texto como imágenes como entradas [24] (aunque el componente de visión no se lanzó al público hasta GPT-4V [25] ); Gemini de Google DeepMind también es multimodal. [26] Mistral presentó su propio modelo multimodelo Pixtral 12B en septiembre de 2024. [27]Una máquina de Boltzmann es un tipo de red neuronal estocástica inventada por Geoffrey Hinton y Terry Sejnowski en 1985. Las máquinas de Boltzmann pueden considerarse la contraparte estocástica y generativa de las redes de Hopfield . Reciben su nombre de la distribución de Boltzmann en mecánica estadística. Las unidades de las máquinas de Boltzmann se dividen en dos grupos: unidades visibles y unidades ocultas. Cada unidad es como una neurona con una salida binaria que representa si está activada o no. [28] Las máquinas de Boltzmann generales permiten la conexión entre cualquier unidad. Sin embargo, el aprendizaje es poco práctico utilizando máquinas de Boltzmann generales porque el tiempo de cálculo es exponencial al tamaño de la máquina [ cita requerida ] . Una arquitectura más eficiente se llama máquina de Boltzmann restringida donde solo se permite la conexión entre la unidad oculta y la unidad visible, que se describe en la siguiente sección.
Las máquinas de Boltzmann profundas multimodales pueden procesar y aprender de distintos tipos de información, como imágenes y texto, simultáneamente. Esto se puede hacer, en particular, si se tiene una máquina de Boltzmann profunda independiente para cada modalidad, por ejemplo, una para imágenes y otra para texto, unidas en una capa oculta superior adicional. [29]
Las máquinas de Boltzmann multimodales profundas se utilizan con éxito en la clasificación y la recuperación de datos faltantes. La precisión de clasificación de la máquina de Boltzmann multimodal profunda supera a las máquinas de vectores de soporte , la asignación de Dirichlet latente y la red de creencias profundas , cuando los modelos se prueban en datos con modalidades de imagen-texto o con una sola modalidad. [ cita requerida ] Las máquinas de Boltzmann multimodales profundas también pueden predecir modalidades faltantes dadas las observadas con una precisión razonablemente buena. [ cita requerida ] El aprendizaje autosupervisado brinda un modelo más interesante y poderoso para la multimodalidad. OpenAI desarrolló modelos CLIP y DALL-E que revolucionaron la multimodalidad.
El aprendizaje profundo multimodal se utiliza para la detección del cáncer : al menos un sistema en desarrollo integra diferentes tipos de datos. [30] [31]
{{cite journal}}: Requiere citar revista |journal=( ayuda )