La traducción automática de lenguas de señas ha sido posible, aunque de manera limitada, desde 1977. Cuando un proyecto de investigación unió con éxito letras inglesas de un teclado con letras del alfabeto manual en ASL que fueron simuladas en una mano robótica. Estas tecnologías traducen lenguas de señas a lengua escrita o hablada, y lengua escrita o hablada a lengua de señas, sin el uso de un intérprete humano . Las lenguas de signos poseen características fonológicas diferentes a las lenguas habladas, lo que ha creado obstáculos para los desarrolladores. Los desarrolladores utilizan la visión por computadora y el aprendizaje automático para reconocer parámetros fonológicos específicos y epéntesis [1] exclusivos de las lenguas de signos, y el reconocimiento del habla y el procesamiento del lenguaje natural permiten la comunicación interactiva entre personas oyentes y sordas.
Las tecnologías de traducción de lengua de signos están limitadas del mismo modo que la traducción de lengua hablada. Ninguno puede traducir con un 100% de precisión. De hecho, las tecnologías de traducción de lengua de signos están muy por detrás de sus homólogas de lengua hablada. Esto se debe, de ninguna manera, al hecho de que las lenguas de señas tienen múltiples articuladores. Mientras que las lenguas habladas se articulan a través del tracto vocal, las lenguas de señas se articulan a través de las manos, los brazos, la cabeza, los hombros, el torso y partes de la cara. Esta articulación multicanal dificulta mucho la traducción de las lenguas de signos. Un desafío adicional para la lengua de signos MT es el hecho de que no existe un formato escrito formal para las lenguas de signos. Existen sistemas de notación, pero la comunidad internacional de sordos no ha adoptado ningún sistema de escritura lo suficientemente amplio como para poder considerarlo la "forma escrita" de una determinada lengua de signos. Luego, las lenguas de signos se graban en varios formatos de vídeo. No existe un corpus paralelo estándar que sea lo suficientemente grande para SMT, por ejemplo.
La historia de la traducción automática del lenguaje de señas comenzó con el desarrollo de hardware como las manos robóticas que deletrean con los dedos. En 1977, un proyecto de escritura manual llamado RALPH (abreviatura de "Robotic Alphabet") creó una mano robótica que puede traducir alfabetos en escritura manual. [2] Más tarde, el uso de guantes con sensores de movimiento se convirtió en algo habitual y nacieron algunos proyectos como CyberGlove y VPL Data Glove. [3] El hardware portátil hizo posible capturar las formas y movimientos de las manos de los firmantes con la ayuda del software de computadora. Sin embargo, con el desarrollo de la visión por computadora, los dispositivos portátiles fueron reemplazados por cámaras debido a su eficiencia y menos restricciones físicas para los firmantes. [3] Para procesar los datos recopilados a través de los dispositivos, los investigadores implementaron redes neuronales como el Simulador de redes neuronales de Stuttgart [4] para el reconocimiento de patrones en proyectos como CyberGlove. Los investigadores también utilizan muchos otros métodos para el reconocimiento de señales. Por ejemplo, los modelos ocultos de Markov se utilizan para analizar datos estadísticamente, [3] y GRASP y otros programas de aprendizaje automático utilizan conjuntos de entrenamiento para mejorar la precisión del reconocimiento de señales. [5] Se ha demostrado que la fusión de tecnologías no portátiles, como cámaras y controladores Leap Motion, aumenta la capacidad del software de traducción y reconocimiento automático del lenguaje de señas. [6]
http://www.visicast.cmp.uea.ac.uk/Visicast_index.html
http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html
http://asl.cs.depaul.edu/
{{cite journal}}: Citar diario requiere |journal=( ayuda )SignAloud es una tecnología que incorpora un par de guantes fabricados por un grupo de estudiantes de la Universidad de Washington que transliteran [7] el lenguaje de signos americano (ASL) al inglés. [8] En febrero de 2015, Thomas Pryor, un estudiante de audición de la Universidad de Washington, creó el primer prototipo de este dispositivo en Hack Arizona, un hackathon en la Universidad de Arizona. Pryor continuó desarrollando la invención y en octubre de 2015, Pryor incorporó a Navid Azodi al proyecto SignAloud para marketing y ayuda con relaciones públicas. Azodi tiene una rica formación y participación en administración de empresas, mientras que Pryor tiene una gran experiencia en ingeniería. [9] En mayo de 2016, el dúo le dijo a NPR que están trabajando más estrechamente con personas que usan ASL para que puedan comprender mejor a su audiencia y adaptar su producto a las necesidades de estas personas en lugar de a las necesidades supuestas. [10] Sin embargo, no se han publicado más versiones desde entonces. El invento fue uno de los siete que ganaron el Premio para Estudiantes Lemelson-MIT, que busca premiar y aplaudir a los jóvenes inventores. Su invento se encuadró en el grupo "¡Úselo!" Categoría del premio que incluye avances tecnológicos sobre productos existentes. Se les concedió 10.000 dólares. [11] [12]
Los guantes tienen sensores que rastrean los movimientos de las manos del usuario y luego envían los datos a un sistema informático a través de Bluetooth . El sistema informático analiza los datos y los compara con palabras en inglés, que luego se pronuncian en voz alta mediante una voz digital. [10] Los guantes no tienen la capacidad de escribir en inglés para emitir el movimiento del guante o la capacidad de escuchar el lenguaje y luego señas a una persona sorda, lo que significa que no proporcionan comunicación recíproca. El dispositivo tampoco incorpora expresiones faciales ni otros marcadores no manuales de lenguajes de señas, que pueden alterar la interpretación real del ASL. [13]
ProDeaf (WebLibras) [14] es un software informático que puede traducir texto y voz al portugués Libras (lengua de signos portuguesa) "con el objetivo de mejorar la comunicación entre personas sordas y oyentes". [15] Actualmente también hay una edición beta en producción para el lenguaje de signos americano . El equipo original comenzó el proyecto en 2010 con una combinación de expertos que incluían lingüistas, diseñadores, programadores y traductores, tanto oyentes como sordos. El equipo surgió en la Universidad Federal de Pernambuco (UFPE) a partir de un grupo de estudiantes involucrados en un proyecto de informática. El grupo tenía un miembro sordo que tenía dificultades para comunicarse con el resto del grupo. Para completar el proyecto y ayudar al compañero a comunicarse, el grupo creó Proativa Soluções y desde entonces ha seguido adelante. [16] La versión beta actual en lenguaje de signos americano es muy limitada. Por ejemplo, hay una sección de diccionario y la única palabra debajo de la letra 'j' es 'saltar'. Si el dispositivo no ha sido programado con la palabra, entonces el avatar digital debe deletrear la palabra con los dedos. La última actualización de la aplicación fue en junio de 2016, pero ProDeaf ha aparecido en más de 400 historias en los medios de comunicación más populares del país. [17]
La aplicación no puede leer el lenguaje de señas y convertirlo en palabra o texto, por lo que solo sirve como comunicación unidireccional. Además, el usuario no puede iniciar sesión en la aplicación y recibir una traducción al inglés de ninguna forma, ya que el inglés todavía se encuentra en la edición beta.
Desde 2012, investigadores de la Academia China de Ciencias y especialistas en educación para sordos de la Universidad Unión de Beijing en China han estado colaborando con el equipo asiático de investigación de Microsoft para crear Kinect Sign Language Translator. [18] El traductor consta de dos modos: modo traductor y modo comunicación. El modo traductor es capaz de traducir palabras individuales de signos a palabras escritas y viceversa. El modo de comunicación puede traducir frases completas y la conversación se puede traducir automáticamente con el uso del avatar 3D . El modo traductor también puede detectar las posturas y formas de las manos de un firmante, así como la trayectoria del movimiento utilizando tecnologías de aprendizaje automático , reconocimiento de patrones y visión por computadora . El dispositivo también permite la comunicación recíproca porque la tecnología de reconocimiento de voz permite traducir el lenguaje hablado al lenguaje de señas y el avatar modelado en 3D puede devolverle señas a las personas sordas. [19]
El proyecto original se inició en China basándose en la traducción del lenguaje de signos chino . En 2013, el proyecto se presentó en la Cumbre de la Facultad de Investigación de Microsoft y en la reunión de la empresa Microsoft. [20] Actualmente, este proyecto también lo están trabajando investigadores en Estados Unidos para implementar la traducción a la Lengua de Señas Americana . [21] A partir de ahora, el dispositivo es todavía un prototipo y la precisión de la traducción en el modo de comunicación aún no es perfecta.
SignAll [22] es un sistema de traducción automática de lengua de signos proporcionado por Dolphio Technologies [23] en Hungría. El equipo es "pionero en la primera solución automatizada de traducción de lenguaje de señas, basada en visión por computadora y procesamiento del lenguaje natural (NLP), para permitir la comunicación diaria entre personas con audición que usan inglés hablado y personas sordas o con problemas de audición que usan ASL". El sistema de SignAll utiliza Kinect de Microsoft y otras cámaras web con sensores de profundidad conectados a una computadora. La tecnología de visión por computadora puede reconocer la forma de la mano y el movimiento de una persona que hace señas, y el sistema de procesamiento del lenguaje natural convierte los datos recopilados por la visión por computadora en una simple frase en inglés. El desarrollador del dispositivo es sordo y el resto del equipo del proyecto está formado por muchos ingenieros y lingüistas especialistas de comunidades sordas y oyentes. La tecnología tiene la capacidad de incorporar los cinco parámetros de ASL, que ayudan al dispositivo a interpretar con precisión al firmante. SignAll ha contado con el respaldo de muchas empresas, incluidas Deloitte y LT-innovate, y ha creado asociaciones con Microsoft Bizspark y Hungría's Renewal. [24] Esta tecnología se utiliza actualmente en Fort Bend Christian Academy en Sugar Land, Texas y en la Universidad Estatal Sam Houston . [25]
MotionSavvy [26] fue el primer sistema de lenguaje de señas para voz. El dispositivo fue creado en 2012 por un grupo del Instituto de Tecnología de Rochester/Instituto Técnico Nacional para Sordos y "surgió del acelerador Leap Motion AXLR8R". [27] El equipo utilizó una funda para tableta que aprovecha la potencia del controlador Leap Motion. Todo el equipo de seis personas fue creado por estudiantes sordos de la rama de educación para sordos de la escuela. [28] El dispositivo es actualmente uno de los dos únicos dispositivos de comunicación recíproca exclusivamente para el lenguaje de señas americano. Permite a las personas sordas hacer señas en el dispositivo, que luego se interpreta o viceversa, tomando el inglés hablado e interpretándolo al lenguaje de señas estadounidense. El dispositivo se envía por $198. Algunas otras características incluyen la capacidad de interactuar, comentarios en vivo, creador de letreros y crowdsign.
El dispositivo ha sido reseñado por todo el mundo, desde revistas de tecnología hasta Time . Wired dijo: "No fue difícil ver cuán transformadora podría ser una tecnología como [UNI]" y que "[UNI] me pareció algo mágico". Katy Steinmetz de TIME dijo: "Esta tecnología podría cambiar la forma en que viven los sordos." Sean Buckley de Engadget mencionó: "UNI podría convertirse en una increíble herramienta de comunicación ".
{{cite journal}}: Citar diario requiere |journal=( ayuda ){{cite journal}}: Citar diario requiere |journal=( ayuda )