La interacción multimodal ofrece al usuario múltiples modos de interactuar con un sistema. Una interfaz multimodal ofrece varias herramientas distintas para la entrada y salida de datos.
La interacción multimodal entre humanos y computadoras implica una comunicación natural con entornos virtuales y físicos. Facilita la comunicación libre y natural entre usuarios y sistemas automatizados, permitiendo una entrada flexible (voz, escritura a mano, gestos) y una salida ( síntesis de voz , gráficos). La fusión multimodal combina entradas de diferentes modalidades, abordando ambigüedades.
Dos grupos principales de interfaces multimodales se centran en métodos de entrada alternativos y entrada/salida combinada. Las modalidades de entrada múltiples mejoran la usabilidad, beneficiando a los usuarios con discapacidades. Los dispositivos móviles a menudo emplean XHTML + Voz para la entrada. Los sistemas biométricos multimodales utilizan múltiples biometrías para superar las limitaciones. El análisis de sentimientos multimodal implica analizar texto, audio y datos visuales para la clasificación de sentimientos. GPT-4 , un modelo de lenguaje multimodal , integra varias modalidades para mejorar la comprensión del lenguaje. Los sistemas de salida multimodal presentan información a través de señales visuales y auditivas, utilizando el tacto y el olfato. La fusión multimodal integra información de diferentes modalidades, empleando fusión multinivel basada en reconocimiento, basada en decisiones e híbrida.
Las ambigüedades en la entrada multimodal se abordan mediante métodos de prevención, resolución a posteriori y resolución de aproximación.
La interacción hombre-computadora multimodal se refiere a la "interacción con el entorno virtual y físico a través de modos naturales de comunicación", [1] Esto implica que la interacción multimodal permite una comunicación más libre y natural, interconectando a los usuarios con sistemas automatizados tanto en entrada como en salida. [2] Específicamente, los sistemas multimodales pueden ofrecer un entorno flexible, eficiente y utilizable que permite a los usuarios interactuar a través de modalidades de entrada, como el habla , la escritura a mano , el gesto de la mano y la mirada , y recibir información por parte del sistema a través de modalidades de salida, como la síntesis de voz, los gráficos inteligentes y otras modalidades, oportunamente combinadas. Luego, un sistema multimodal tiene que reconocer las entradas de las diferentes modalidades combinándolas de acuerdo con las restricciones temporales y contextuales [3] para permitir su interpretación. Este proceso se conoce como fusión multimodal, y es objeto de varios trabajos de investigación desde los años noventa hasta la actualidad. [4] [5] [6] [7] [8] [9] [10] [11] Las entradas fusionadas son interpretadas por el sistema. La naturalidad y la flexibilidad pueden producir más de una interpretación para cada modalidad (canal) diferente y para su uso simultáneo, y en consecuencia pueden producir ambigüedad multimodal [12] generalmente debido a imprecisiones, ruidos u otros factores similares. Para resolver ambigüedades, se han propuesto varios métodos. [13] [14] [15] [16] [17] [18] Finalmente, el sistema devuelve a los usuarios las salidas a través de los diversos canales modales (desagregados) ordenados de acuerdo con una retroalimentación consistente (fisión). [19] El uso generalizado de dispositivos móviles, sensores y tecnologías web puede ofrecer recursos computacionales adecuados para gestionar la complejidad implícita en la interacción multimodal. "El uso de la nube para involucrar recursos computacionales compartidos en la gestión de la complejidad de la interacción multimodal representa una oportunidad. De hecho, la computación en la nube permite entregar recursos computacionales compartidos, escalables y configurables que pueden ser aprovisionados y liberados de manera dinámica y automática". [20]
Se han fusionado dos grupos principales de interfaces multimodales, uno relacionado con métodos de entrada alternativos y el otro con entrada/salida combinadas. El primer grupo de interfaces combina varios modos de entrada de usuario más allá de la entrada/salida tradicional de teclado y mouse , como voz, lápiz, tacto, gestos manuales, [21] mirada y movimientos de cabeza y cuerpo. [22] La interfaz más común de este tipo combina una modalidad visual (por ejemplo, una pantalla, teclado y mouse) con una modalidad de voz ( reconocimiento de voz para entrada, síntesis de voz y audio grabado para salida). Sin embargo, se pueden utilizar otras modalidades, como entrada basada en lápiz o entrada/salida háptica . Las interfaces de usuario multimodales son un área de investigación en la interacción hombre-computadora (HCI).
La ventaja de las modalidades de entrada múltiples es una mayor facilidad de uso : las debilidades de una modalidad se compensan con las fortalezas de otra. En un dispositivo móvil con una interfaz visual y un teclado pequeños, una palabra puede ser bastante difícil de escribir pero muy fácil de decir (por ejemplo, Poughkeepsie ). Considere cómo accedería y buscaría en catálogos de medios digitales desde estos mismos dispositivos o decodificadores. Y en un ejemplo del mundo real, los miembros del equipo quirúrgico acceden verbalmente a la información del paciente en un entorno de quirófano para mantener un entorno antiséptico, y se presenta casi en tiempo real de forma auditiva y visual para maximizar la comprensión.
Las interfaces de usuario de entrada multimodal tienen implicaciones para la accesibilidad . [23] Una aplicación multimodal bien diseñada puede ser utilizada por personas con una amplia variedad de discapacidades. Los usuarios con discapacidad visual dependen de la modalidad de voz con alguna entrada de teclado. Los usuarios con discapacidad auditiva dependen de la modalidad visual con alguna entrada de voz. Otros usuarios estarán "deteriorados situacionalmente" (por ejemplo, usar guantes en un entorno muy ruidoso, conducir o necesitar ingresar un número de tarjeta de crédito en un lugar público) y simplemente usarán las modalidades apropiadas según lo deseen. Por otro lado, una aplicación multimodal que requiere que los usuarios puedan operar todas las modalidades está muy mal diseñada.
La forma más común de multimodalidad de entrada en el mercado hace uso del lenguaje de marcado web XHTML+Voice (también conocido como X+V), una especificación abierta desarrollada por IBM , Motorola y Opera Software . X+V está siendo considerado actualmente por el W3C y combina varias recomendaciones del W3C , incluyendo XHTML para marcado visual, VoiceXML para marcado de voz y XML Events , un estándar para integrar lenguajes XML . Los navegadores multimodales que admiten X+V incluyen IBM WebSphere Everyplace Multimodal Environment, Opera para Embedded Linux y Windows y ACCESS Systems NetFront para Windows Mobile . Para desarrollar aplicaciones multimodales, los desarrolladores de software pueden utilizar un kit de desarrollo de software , como IBM WebSphere Multimodal Toolkit, basado en el marco de trabajo Eclipse de código abierto , que incluye un depurador , editor y simulador X+V . [ cita requerida ]
Los sistemas biométricos multimodales utilizan múltiples sensores o biometría para superar las limitaciones de los sistemas biométricos unimodales. [24] Por ejemplo, los sistemas de reconocimiento de iris pueden verse comprometidos por irises envejecidos [25] y el reconocimiento electrónico de huellas dactilares puede verse empeorado por huellas dactilares desgastadas o cortadas. Si bien los sistemas biométricos unimodales están limitados por la integridad de su identificador, es poco probable que varios sistemas unimodales sufran limitaciones idénticas. Los sistemas biométricos multimodales pueden obtener conjuntos de información del mismo marcador (es decir, múltiples imágenes de un iris o escaneos del mismo dedo) o información de diferentes biometrías (que requieren escaneos de huellas dactilares y, mediante reconocimiento de voz , una contraseña hablada). [26] [27]
Los sistemas biométricos multimodales pueden fusionar estos sistemas unimodales de forma secuencial, simultánea, una combinación de los mismos o en serie, que se refieren a los modos de integración secuencial, paralelo, jerárquico y serial, respectivamente. La fusión de la información biométrica puede ocurrir en diferentes etapas de un sistema de reconocimiento. En el caso de la fusión a nivel de características, se fusionan los datos en sí o las características extraídas de múltiples datos biométricos. La fusión a nivel de puntuación de coincidencia consolida las puntuaciones generadas por múltiples clasificadores pertenecientes a diferentes modalidades. Finalmente, en el caso de la fusión a nivel de decisión, los resultados finales de múltiples clasificadores se combinan mediante técnicas como la votación por mayoría . Se cree que la fusión a nivel de características es más eficaz que los otros niveles de fusión porque el conjunto de características contiene información más rica sobre los datos biométricos de entrada que la puntuación de coincidencia o la decisión de salida de un clasificador. Por lo tanto, se espera que la fusión a nivel de características proporcione mejores resultados de reconocimiento. [24]
Además, las tendencias cambiantes del mercado biométrico subrayan la importancia de la integración tecnológica, mostrando un cambio hacia la combinación de múltiples modalidades biométricas para una mayor seguridad y verificación de identidad, en línea con los avances en los sistemas biométricos multimodales. [28]
Los ataques de suplantación de identidad consisten en enviar datos biométricos falsos a los sistemas biométricos y son una amenaza importante que puede reducir su seguridad. Se cree comúnmente que los sistemas biométricos multimodales son intrínsecamente más resistentes a los ataques de suplantación de identidad, pero estudios recientes [29] han demostrado que se pueden evadir falsificando incluso un solo dato biométrico.
Un sistema de este tipo propuesto de criptosistema biométrico multimodal que involucra la cara, la huella digital y la vena de la palma por Prasanalakshmi [30] La integración del criptosistema combina la biometría con la criptografía , donde la vena de la palma actúa como una clave criptográfica, ofreciendo un alto nivel de seguridad ya que las venas de la palma son únicas y difíciles de falsificar. La huella digital implica la extracción de minucias (terminaciones y bifurcaciones) y técnicas de coincidencia. Los pasos incluyen mejora de la imagen, binarización, extracción de ROI y adelgazamiento de minucias. El sistema de la cara utiliza matrices de dispersión basadas en clases para calcular características para el reconocimiento, y la vena de la palma actúa como una clave criptográfica irrompible , asegurando que solo el usuario correcto pueda acceder al sistema. El concepto de biometría cancelable permite alterar ligeramente los rasgos biométricos para garantizar la privacidad y evitar el robo. Si se ve comprometida, se pueden emitir nuevas variaciones de datos biométricos.
La plantilla de huella dactilar cifrada se cifra utilizando la clave de la vena de la palma mediante operaciones XOR . Esta huella dactilar cifrada se oculta dentro de la imagen del rostro mediante técnicas esteganográficas. El registro y la verificación de los datos biométricos (huella dactilar, vena de la palma, rostro) se capturan, cifran e incorporan a una imagen del rostro. El sistema extrae los datos biométricos y los compara con los valores almacenados para la verificación. El sistema se probó con bases de datos de huellas dactilares y logró una precisión de verificación del 75 % con una tasa de error equivalente del 25 % y un tiempo de procesamiento de aproximadamente 50 segundos para el registro y 22 segundos para la verificación. Alta seguridad gracias al cifrado de la vena de la palma, eficaz contra la suplantación biométrica, y el enfoque multimodal garantiza la fiabilidad si falla un dato biométrico. Potencial de integración con tarjetas inteligentes o sistemas integrados en tarjetas, lo que mejora la seguridad en los sistemas de identificación personal .El análisis de sentimientos multimodal es una tecnología para el análisis de sentimientos basado en texto tradicional , que incluye modalidades como datos de audio y visuales. [31] Puede ser bimodal, que incluye diferentes combinaciones de dos modalidades, o trimodal, que incorpora tres modalidades. [32] Con la gran cantidad de datos de redes sociales disponibles en línea en diferentes formas, como videos e imágenes, el análisis de sentimientos basado en texto convencional ha evolucionado hacia modelos más complejos de análisis de sentimientos multimodal, [33] que se pueden aplicar en el desarrollo de asistentes virtuales , [34] análisis de reseñas de películas de YouTube, [35] análisis de videos de noticias, [36] y reconocimiento de emociones (a veces conocido como detección de emociones ) como el monitoreo de la depresión , [37] entre otros.
De manera similar al análisis de sentimientos tradicional , una de las tareas más básicas en el análisis de sentimientos multimodal es la clasificación de sentimientos , que clasifica diferentes sentimientos en categorías como positivo, negativo o neutral. [38] La complejidad de analizar características de texto, audio y visuales para realizar dicha tarea requiere la aplicación de diferentes técnicas de fusión, como la fusión a nivel de características, a nivel de decisión y la fusión híbrida. [33] El rendimiento de estas técnicas de fusión y los algoritmos de clasificación aplicados están influenciados por el tipo de características textuales, de audio y visuales empleadas en el análisis. [39]Generative Pre-trained Transformer 4 ( GPT-4 ) es un modelo de lenguaje grande multimodal creado por OpenAI , y el cuarto de su serie de modelos de base GPT . [40] Se lanzó el 14 de marzo de 2023, [40] y se puso a disposición del público a través del producto de chatbot pago ChatGPT Plus , a través de la API de OpenAI y a través del chatbot gratuito Microsoft Copilot . [41] Como modelo basado en transformadores , GPT-4 utiliza un paradigma en el que se utiliza un entrenamiento previo utilizando datos públicos y "datos con licencia de proveedores externos" para predecir el próximo token . Después de este paso, el modelo se afinó con retroalimentación de aprendizaje de refuerzo de humanos e IA para la alineación humana y el cumplimiento de las políticas. [42] : 2
Los observadores informaron que la iteración de ChatGPT utilizando GPT-4 fue una mejora de la iteración anterior basada en GPT-3.5, con la salvedad de que GPT-4 conserva algunos de los problemas con las revisiones anteriores. [43] GPT-4, equipado con capacidades de visión (GPT-4V), [44] es capaz de tomar imágenes como entrada en ChatGPT. [45] OpenAI se ha negado a revelar varios detalles técnicos y estadísticas sobre GPT-4, como el tamaño preciso del modelo. [46]El segundo grupo de sistemas multimodales presenta a los usuarios pantallas multimedia y salida multimodal, principalmente en forma de señales visuales y auditivas. Los diseñadores de interfaces también han comenzado a hacer uso de otras modalidades, como el tacto y el olfato. Los beneficios propuestos del sistema de salida multimodal incluyen sinergia y redundancia. La información que se presenta a través de varias modalidades se fusiona y se refiere a varios aspectos del mismo proceso. El uso de varias modalidades para procesar exactamente la misma información proporciona un mayor ancho de banda de transferencia de información. [47] [48] [49] Actualmente, la salida multimodal se utiliza principalmente para mejorar la correlación entre el medio de comunicación y el contenido y para respaldar la gestión de la atención en entornos ricos en datos donde los operadores enfrentan demandas considerables de atención visual. [50]
Un paso importante en el diseño de interfaces multimodales es la creación de mapeos naturales entre las modalidades y la información y las tareas. El canal auditivo difiere de la visión en varios aspectos. Es omnidireccional, transitorio y siempre reservado. [50] La salida de voz, una forma de información auditiva, recibió considerable atención. Se han desarrollado varias pautas para el uso del habla. Michaelis y Wiggins (1982) sugirieron que la salida de voz debería usarse para mensajes breves y simples a los que no se hará referencia más adelante. También se recomendó que el habla se generara a tiempo y requiriera una respuesta inmediata.
El sentido del tacto se utilizó por primera vez como medio de comunicación a finales de la década de 1950. [51] No solo es un canal de comunicación prometedor, sino también único. A diferencia de la vista y el oído, los dos sentidos tradicionales empleados en la HCI, el sentido del tacto es proximal: detecta objetos que están en contacto con el cuerpo y es bidireccional, ya que apoya tanto la percepción como la acción sobre el entorno.
Entre los ejemplos de retroalimentación auditiva se incluyen los iconos auditivos en los sistemas operativos de las computadoras que indican las acciones de los usuarios (por ejemplo, eliminar un archivo, abrir una carpeta, error), la salida de voz para presentar una guía de navegación en vehículos y la salida de voz para advertir a los pilotos en las cabinas de los aviones modernos. Entre los ejemplos de señales táctiles se incluyen las vibraciones de la palanca de la señal de giro para advertir a los conductores de que hay un automóvil en su punto ciego, la vibración del asiento automático como advertencia para los conductores y el vibrador de la palanca en los aviones modernos que alerta a los pilotos de una pérdida de sustentación inminente. [50]
Los espacios de interfaz invisibles se hicieron disponibles gracias a la tecnología de sensores. Hoy en día, se utilizan comúnmente los infrarrojos, los ultrasonidos y las cámaras. [52] La transparencia de la interfaz con el contenido se mejora si se establece un vínculo inmediato y directo mediante un mapeo significativo, de modo que el usuario recibe una respuesta directa e inmediata a la entrada y la respuesta al contenido se convierte en una posibilidad de interfaz (Gibson 1979).
El proceso de integrar información de varias modalidades de entrada y combinarlas en un comando completo se conoce como fusión multimodal. [5] En la literatura, se han propuesto tres enfoques principales para el proceso de fusión, de acuerdo con los principales niveles arquitectónicos (reconocimiento y decisión) en los que se puede realizar la fusión de las señales de entrada: basado en reconocimiento, [9] [10] [53] basado en decisiones, [7] [8] [11] [54] [55] [56] [57] y fusión híbrida multinivel. [4] [6] [58] [59] [60] [61] [62] [63]
La fusión basada en reconocimiento (también conocida como fusión temprana) consiste en fusionar los resultados de cada reconocedor modal mediante el uso de mecanismos de integración, como, por ejemplo, técnicas de integración estadística, teoría de agentes, modelos ocultos de Markov, redes neuronales artificiales, etc. Ejemplos de estrategias de fusión basadas en reconocimiento son el marco de acción [53] , los vectores de entrada [9] y las ranuras [10] .
La fusión basada en decisiones (también conocida como fusión tardía) fusiona la información semántica extraída mediante procedimientos de fusión específicos basados en diálogos para obtener la interpretación completa. Algunos ejemplos de estrategias de fusión basadas en decisiones son las estructuras de características tipificadas, [54] [59] los crisoles, [56] [57] los marcos semánticos, [7] [11] y los retículos con sello de tiempo. [8]
Las posibles aplicaciones de la fusión multimodal incluyen entornos de aprendizaje, relaciones con los consumidores, seguridad/vigilancia, animación por ordenador, etc. Individualmente, los modos se definen fácilmente, pero surge la dificultad de que la tecnología los considere una fusión combinada. [64] Es difícil para los algoritmos tener en cuenta la dimensionalidad; existen variables que están fuera de las capacidades computacionales actuales. Por ejemplo, el significado semántico: dos oraciones podrían tener el mismo significado léxico pero diferente información emocional. [64]
En la fusión híbrida multinivel, la integración de las modalidades de entrada se distribuye entre los niveles de reconocimiento y decisión. La fusión híbrida multinivel incluye las siguientes tres metodologías: transductores de estados finitos, [59] gramáticas multimodales [6] [58] [60] [61] [62] [63] [65] y movimientos de diálogo. [66]
Las acciones o comandos del usuario producen entradas multimodales (mensaje multimodal [3] ), que deben ser interpretadas por el sistema. El mensaje multimodal es el medio que permite la comunicación entre usuarios y sistemas multimodales. Se obtiene fusionando información que se transmite a través de varias modalidades considerando los diferentes tipos de cooperación entre varias modalidades, [67] las relaciones temporales [68] entre las modalidades involucradas y las relaciones entre fragmentos de información conectados con estas modalidades. [69]
La correspondencia natural entre la entrada multimodal, que es proporcionada por varias modalidades de interacción (canal visual y auditivo y sentido del tacto), y la información y las tareas implica gestionar los problemas típicos de la comunicación entre humanos, como la ambigüedad. Una ambigüedad surge cuando es posible más de una interpretación de la entrada. Una ambigüedad multimodal [12] surge tanto si un elemento, proporcionado por una modalidad, tiene más de una interpretación (es decir, las ambigüedades se propagan a nivel multimodal), y/o si los elementos, conectados con cada modalidad, se interpretan unívocamente, pero la información referida a diferentes modalidades es incoherente a nivel sintáctico o semántico (es decir, una oración multimodal tiene diferentes significados o diferente estructura sintáctica).
En "La gestión de ambigüedades", [14] los métodos para resolver ambigüedades y proporcionar la interpretación correcta de la entrada del usuario se organizan en tres clases principales: métodos de prevención, resolución a posteriori y resolución de aproximación. [13] [15]
Los métodos de prevención imponen a los usuarios seguir un comportamiento de interacción predefinido de acuerdo con un conjunto de transiciones entre diferentes estados permitidos del proceso de interacción. Algunos ejemplos de métodos de prevención son: método procedimental, [70] reducción del poder expresivo de la gramática del lenguaje, [71] mejora del poder expresivo de la gramática del lenguaje. [72]
La resolución a posteriori de ambigüedades utiliza el enfoque de mediación. [16] Ejemplos de técnicas de mediación son: repetición, por ejemplo repetición por modalidad, [16] granularidad de reparación [73] y deshacer, [17] y elección. [18]
Los métodos de resolución de aproximación no requieren la participación del usuario en el proceso de desambiguación. Todos ellos pueden requerir el uso de algunas teorías, como la lógica difusa , el campo aleatorio de Markov , las redes bayesianas y los modelos ocultos de Markov . [13] [15]