El análisis de sentimientos multimodal es una tecnología para el análisis de sentimientos basado en texto tradicional , que incluye modalidades como datos de audio y visuales. [1] Puede ser bimodal, que incluye diferentes combinaciones de dos modalidades, o trimodal, que incorpora tres modalidades. [2] Con la gran cantidad de datos de redes sociales disponibles en línea en diferentes formas, como videos e imágenes, el análisis de sentimientos basado en texto convencional ha evolucionado hacia modelos más complejos de análisis de sentimientos multimodal, [3] que se pueden aplicar en el desarrollo de asistentes virtuales , [4] análisis de reseñas de películas de YouTube, [5] análisis de videos de noticias, [6] y reconocimiento de emociones (a veces conocido como detección de emociones ) como el monitoreo de la depresión , [7] entre otros.
De manera similar al análisis de sentimientos tradicional , una de las tareas más básicas en el análisis de sentimientos multimodal es la clasificación de sentimientos , que clasifica diferentes sentimientos en categorías como positivo, negativo o neutral. [8] La complejidad de analizar características de texto, audio y visuales para realizar dicha tarea requiere la aplicación de diferentes técnicas de fusión, como la fusión a nivel de características, a nivel de decisión y la fusión híbrida. [3] El rendimiento de estas técnicas de fusión y los algoritmos de clasificación aplicados están influenciados por el tipo de características textuales, de audio y visuales empleadas en el análisis. [9]
La ingeniería de características , que implica la selección de características que se incorporan a los algoritmos de aprendizaje automático , desempeña un papel clave en el rendimiento de la clasificación de sentimientos. [9] En el análisis de sentimientos multimodal, se emplea una combinación de diferentes características textuales, de audio y visuales. [3]
De manera similar al análisis de sentimientos basado en texto convencional , algunas de las características textuales más comúnmente utilizadas en el análisis de sentimientos multimodal son los unigramas y los n-gramas , que son básicamente una secuencia de palabras en un documento textual determinado. [10] Estas características se aplican utilizando representaciones de características de bolsa de palabras o bolsa de conceptos, en las que las palabras o conceptos se representan como vectores en un espacio adecuado. [11] [12]
Las características de sentimiento y emoción son prominentes en diferentes propiedades fonéticas y prosódicas contenidas en las características de audio. [13] Algunas de las características de audio más importantes empleadas en el análisis de sentimiento multimodal son el cepstrum de frecuencia mel (MFCC) , el centroide espectral , el flujo espectral , el histograma de pulso, la suma de pulsos, el pulso más fuerte, la duración de la pausa y el tono . [3] OpenSMILE [14] y Praat son kits de herramientas de código abierto populares para extraer dichas características de audio. [15]
Una de las principales ventajas de analizar videos con respecto a los textos únicamente, es la presencia de ricas señales de sentimientos en los datos visuales. [16] Las características visuales incluyen expresiones faciales , que son de suma importancia para capturar sentimientos y emociones , ya que son un canal principal para formar el estado mental actual de una persona. [3] Específicamente, la sonrisa , se considera una de las señales visuales más predictivas en el análisis de sentimientos multimodal. [11] OpenFace es un kit de herramientas de análisis facial de código abierto disponible para extraer y comprender dichas características visuales. [17]
A diferencia del análisis de sentimientos basado en texto tradicional , el análisis de sentimientos multimodal se somete a un proceso de fusión en el que se fusionan y analizan juntos datos de diferentes modalidades (texto, audio o imagen). [3] Los enfoques existentes en la fusión de datos del análisis de sentimientos multimodal se pueden agrupar en tres categorías principales: nivel de características, nivel de decisión y fusión híbrida, y el rendimiento de la clasificación de sentimientos depende del tipo de técnica de fusión que se emplee. [3]
La fusión a nivel de características (a veces conocida como fusión temprana) reúne todas las características de cada modalidad (texto, audio o imagen) y las une en un único vector de características, que finalmente se incorpora a un algoritmo de clasificación. [18] Una de las dificultades en la implementación de esta técnica es la integración de las características heterogéneas. [3]
La fusión a nivel de decisión (a veces conocida como fusión tardía) alimenta los datos de cada modalidad (texto, audio o visual) de forma independiente en su propio algoritmo de clasificación y obtiene los resultados finales de la clasificación de sentimientos fusionando cada resultado en un único vector de decisión. [18] Una de las ventajas de esta técnica de fusión es que elimina la necesidad de fusionar datos heterogéneos y cada modalidad puede utilizar su algoritmo de clasificación más apropiado . [3]
La fusión híbrida es una combinación de técnicas de fusión a nivel de características y a nivel de decisión, que explota la información complementaria de ambos métodos durante el proceso de clasificación. [5] Por lo general, implica un procedimiento de dos pasos en el que la fusión a nivel de características se realiza inicialmente entre dos modalidades, y luego se aplica la fusión a nivel de decisión como un segundo paso, para fusionar los resultados iniciales de la fusión a nivel de características, con la modalidad restante . [19] [20]
Similar al análisis de sentimientos basado en texto, el análisis de sentimientos multimodal se puede aplicar en el desarrollo de diferentes formas de sistemas de recomendación , como en el análisis de videos generados por el usuario de reseñas de películas [5] y reseñas generales de productos [21] , para predecir los sentimientos de los clientes y, posteriormente, crear recomendaciones de productos o servicios. [22] El análisis de sentimientos multimodal también juega un papel importante en el avance de los asistentes virtuales a través de la aplicación de técnicas de procesamiento del lenguaje natural (PLN) y aprendizaje automático . [4] En el ámbito de la atención médica, el análisis de sentimientos multimodal se puede utilizar para detectar ciertas condiciones médicas como estrés , ansiedad o depresión . [7] El análisis de sentimientos multimodal también se puede aplicar para comprender los sentimientos contenidos en los programas de noticias en video, que se considera un dominio complicado y desafiante, ya que los sentimientos expresados por los reporteros tienden a ser menos obvios o neutrales. [23]
{{cite journal}}: Requiere citar revista |journal=( ayuda )