El reconocimiento de voz es un subcampo interdisciplinario de la informática y la lingüística computacional que desarrolla metodologías y tecnologías que permiten el reconocimiento y la traducción del lenguaje hablado a texto mediante computadoras. También se le conoce como reconocimiento automático de voz ( ASR ), reconocimiento de voz por ordenador o voz a texto ( STT ). Incorpora conocimientos e investigaciones en los campos de la informática , la lingüística y la ingeniería informática . El proceso inverso es la síntesis del habla .
Algunos sistemas de reconocimiento de voz requieren "entrenamiento" (también llamado "inscripción") en el que un hablante individual lee texto o vocabulario aislado en el sistema. El sistema analiza la voz específica de la persona y la utiliza para afinar el reconocimiento del habla de esa persona, lo que da como resultado una mayor precisión. Los sistemas que no utilizan capacitación se denominan sistemas "independientes del hablante" [1] . Los sistemas que utilizan formación se denominan "dependientes del hablante".
Las aplicaciones de reconocimiento de voz incluyen interfaces de usuario de voz como marcación por voz (por ejemplo, "llamar a casa"), enrutamiento de llamadas (por ejemplo, "me gustaría hacer una llamada por cobrar"), control de aparatos domóticos , búsqueda de palabras clave (por ejemplo, encontrar un podcast donde se se hablaron), entrada simple de datos (por ejemplo, ingresar un número de tarjeta de crédito), preparación de documentos estructurados (por ejemplo, un informe de radiología), determinación de las características del hablante, [2] procesamiento de voz a texto (por ejemplo, procesadores de texto o correos electrónicos ), y aviones (generalmente denominado entrada de voz directa ). La evaluación automática de la pronunciación se utiliza en educación, por ejemplo, para el aprendizaje del lenguaje hablado.
El término reconocimiento de voz [3] [4] [5] o identificación del hablante [6] [7] [8] se refiere a identificar al hablante, en lugar de lo que está diciendo. Reconocer al hablante puede simplificar la tarea de traducir el habla en sistemas que han sido entrenados en la voz de una persona específica o puede usarse para autenticar o verificar la identidad de un hablante como parte de un proceso de seguridad.
Desde la perspectiva tecnológica, el reconocimiento de voz tiene una larga historia con varias oleadas de innovaciones importantes. Más recientemente, el campo se ha beneficiado de los avances en aprendizaje profundo y big data . Los avances se evidencian no sólo por el aumento de artículos académicos publicados en el campo, sino más importante aún por la adopción por parte de la industria mundial de una variedad de métodos de aprendizaje profundo en el diseño e implementación de sistemas de reconocimiento de voz.
Las áreas clave de crecimiento fueron: tamaño del vocabulario, independencia del hablante y velocidad de procesamiento.
Raj Reddy fue la primera persona en adoptar el reconocimiento continuo de voz como estudiante de posgrado en la Universidad de Stanford a finales de los años 1960. Los sistemas anteriores requerían que los usuarios hicieran una pausa después de cada palabra. El sistema de Reddy emitía comandos hablados para jugar al ajedrez .
Por esta época, los investigadores soviéticos inventaron el algoritmo de distorsión dinámica del tiempo (DTW) y lo utilizaron para crear un reconocedor capaz de operar con un vocabulario de 200 palabras. [15] DTW procesó la voz dividiéndola en cuadros cortos, por ejemplo, segmentos de 10 ms, y procesando cada cuadro como una sola unidad. Aunque DTW sería reemplazado por algoritmos posteriores, la técnica continuó. Lograr la independencia de los oradores seguía sin resolverse en este período.
A finales de la década de 1960 , Leonard Baum desarrolló las matemáticas de las cadenas de Markov en el Instituto de Análisis de Defensa . Una década más tarde, en CMU, los estudiantes de Raj Reddy, James Baker y Janet M. Baker, comenzaron a utilizar el modelo oculto de Markov (HMM) para el reconocimiento de voz. [20] James Baker había aprendido sobre los HMM en un trabajo de verano en el Instituto de Análisis de Defensa durante su educación universitaria. [21] El uso de HMM permitió a los investigadores combinar diferentes fuentes de conocimiento, como la acústica, el lenguaje y la sintaxis, en un modelo probabilístico unificado.
La década de 1980 también vio la introducción del modelo de lenguaje n-gram .
Gran parte del progreso en este campo se debe al rápido aumento de las capacidades de las computadoras. Al final del programa DARPA en 1976, la mejor computadora disponible para los investigadores era la PDP-10 con 4 MB de RAM. [28] Podría llevar hasta 100 minutos decodificar sólo 30 segundos de voz. [29]
Dos productos prácticos fueron:
En este punto, el vocabulario del típico sistema comercial de reconocimiento de voz era mayor que el vocabulario humano promedio. [28] El ex alumno de Raj Reddy, Xuedong Huang , desarrolló el sistema Sphinx-II en CMU. El sistema Sphinx-II fue el primero en ofrecer reconocimiento de voz continuo, amplio vocabulario e independiente del hablante y tuvo el mejor desempeño en la evaluación de DARPA de 1992. Manejar el habla continua con un amplio vocabulario fue un hito importante en la historia del reconocimiento de voz. Huang fundó el grupo de reconocimiento de voz en Microsoft en 1993. Kai-Fu Lee, alumno de Raj Reddy , se unió a Apple donde, en 1992, ayudó a desarrollar un prototipo de interfaz de voz para la computadora Apple conocida como Casper.
Lernout & Hauspie , una empresa de reconocimiento de voz con sede en Bélgica, adquirió varias otras empresas, entre ellas Kurzweil Applied Intelligence en 1997 y Dragon Systems en 2000. La tecnología de voz L&H se utilizó en el sistema operativo Windows XP . L&H fue líder de la industria hasta que un escándalo contable puso fin a la empresa en 2001. La tecnología de voz de L&H fue comprada por ScanSoft, que se convirtió en Nuance en 2005. Apple originalmente obtuvo la licencia de software de Nuance para proporcionar capacidad de reconocimiento de voz a su asistente digital Siri . [34]
En la década de 2000, DARPA patrocinó dos programas de reconocimiento de voz: Voz a texto reutilizable, asequible y eficaz (EARS) en 2002 y Explotación global del lenguaje autónomo (GALE). En el programa EARS participaron cuatro equipos: IBM , equipo liderado por BBN con LIMSI y Univ. de Pittsburgh , la Universidad de Cambridge y un equipo compuesto por ICSI , SRI y la Universidad de Washington . EARS financió la recopilación del corpus de voz telefónica Switchboard que contiene 260 horas de conversaciones grabadas de más de 500 hablantes. [35] El programa GALE se centró en los discursos informativos transmitidos en árabe y mandarín . El primer esfuerzo de Google en materia de reconocimiento de voz se produjo en 2007 después de contratar a algunos investigadores de Nuance. [36] El primer producto fue GOOG-411 , un servicio de directorio telefónico. Las grabaciones de GOOG-411 produjeron datos valiosos que ayudaron a Google a mejorar sus sistemas de reconocimiento. La búsqueda por voz de Google ahora es compatible con más de 30 idiomas.
En Estados Unidos, la Agencia de Seguridad Nacional ha utilizado un tipo de reconocimiento de voz para detectar palabras clave desde al menos 2006. [37] Esta tecnología permite a los analistas buscar en grandes volúmenes de conversaciones grabadas y aislar menciones de palabras clave. Las grabaciones se pueden indexar y los analistas pueden realizar consultas en la base de datos para encontrar conversaciones de interés. Algunos programas de investigación gubernamentales se centraron en aplicaciones de inteligencia del reconocimiento de voz, por ejemplo, el programa EARS de DARPA y el programa Babel de IARPA .
A principios de la década de 2000, el reconocimiento de voz todavía estaba dominado por enfoques tradicionales como los modelos ocultos de Markov combinados con redes neuronales artificiales de avance . [38] Hoy en día, sin embargo, muchos aspectos del reconocimiento de voz han sido asumidos por un método de aprendizaje profundo llamado memoria a largo plazo (LSTM), una red neuronal recurrente publicada por Sepp Hochreiter y Jürgen Schmidhuber en 1997. [39] RNN de LSTM evita el problema del gradiente de desaparición y puede aprender tareas de "aprendizaje muy profundo" [40] que requieren recuerdos de eventos que sucedieron hace miles de pasos de tiempo discretos, lo cual es importante para el habla. Alrededor de 2007, LSTM entrenado por Clasificación Temporal Conexionista (CTC) [41] comenzó a superar el reconocimiento de voz tradicional en ciertas aplicaciones. [42] En 2015, el reconocimiento de voz de Google supuestamente experimentó un espectacular aumento en el rendimiento del 49% a través de LSTM entrenado por CTC, que ahora está disponible a través de Google Voice para todos los usuarios de teléfonos inteligentes. [43] Los transformadores , un tipo de red neuronal basada únicamente en la atención, han sido ampliamente adoptados en visión por computadora [44] [45] y modelado de lenguaje, [46] [47] despertando el interés de adaptar dichos modelos a nuevos dominios. incluido el reconocimiento de voz. [48] [49] [50] Algunos artículos recientes informaron niveles de rendimiento superiores utilizando modelos de transformadores para el reconocimiento de voz, pero estos modelos generalmente requieren conjuntos de datos de entrenamiento a gran escala para alcanzar altos niveles de rendimiento.
El uso de redes de retroalimentación profunda (no recurrentes) para el modelado acústico fue introducido a finales de 2009 por Geoffrey Hinton y sus estudiantes de la Universidad de Toronto y por Li Deng [51] y colegas de Microsoft Research, inicialmente en el marco de la colaboración. trabajo entre Microsoft y la Universidad de Toronto que posteriormente se amplió para incluir a IBM y Google (de ahí el subtítulo "Las opiniones compartidas de cuatro grupos de investigación" en su artículo de revisión de 2012). [52] [53] [54] Un ejecutivo de investigación de Microsoft llamó a esta innovación "el cambio más dramático en precisión desde 1979". [55] En contraste con las mejoras incrementales constantes de las últimas décadas, la aplicación del aprendizaje profundo disminuyó la tasa de error de palabras en un 30%. [55] Esta innovación se adoptó rápidamente en todo el campo. Los investigadores también han comenzado a utilizar técnicas de aprendizaje profundo para modelar el lenguaje.
En la larga historia del reconocimiento de voz, tanto la forma superficial como la forma profunda (por ejemplo, redes recurrentes) de redes neuronales artificiales se habían explorado durante muchos años durante las décadas de 1980, 1990 y algunos años de la década de 2000. [56] [57] [58] Pero estos métodos nunca ganaron la tecnología del modelo de mezcla gaussiana / modelo oculto de Markov (GMM-HMM) de artesanía interna no uniforme basada en modelos generativos de habla entrenados discriminativamente. [59] En la década de 1990 se analizaron metodológicamente una serie de dificultades clave, incluida la disminución del gradiente [60] y una estructura de correlación temporal débil en los modelos predictivos neuronales. [61] [62] Todas estas dificultades se sumaron a la falta de grandes datos de entrenamiento y gran potencia informática en estos primeros días. Por lo tanto, la mayoría de los investigadores de reconocimiento de voz que entendieron tales barreras se alejaron posteriormente de las redes neuronales para buscar enfoques de modelado generativo hasta el reciente resurgimiento del aprendizaje profundo que comenzó alrededor de 2009-2010 y que superó todas estas dificultades. Hinton et al. y Deng et al. revisó parte de esta historia reciente sobre cómo su colaboración entre ellos y luego con colegas de cuatro grupos (Universidad de Toronto, Microsoft, Google e IBM) inició un renacimiento de las aplicaciones de redes neuronales de avance profundo para el reconocimiento de voz. [53] [54] [63] [64]
A principios de la década de 2010, el reconocimiento de voz , también llamado reconocimiento de voz [65] [66] [67] , se diferenciaba claramente del reconocimiento del hablante , y la independencia del hablante se consideraba un gran avance. Hasta entonces, los sistemas requerían un período de "formación". Un anuncio de 1987 de una muñeca llevaba el lema "Por fin, la muñeca que te entiende". – a pesar de que se describió como "que los niños podrían entrenar para responder a su voz". [12]
En 2017, los investigadores de Microsoft alcanzaron un hito histórico de paridad humana al transcribir el habla telefónica conversacional en la tarea Switchboard, ampliamente evaluada como punto de referencia. Se utilizaron múltiples modelos de aprendizaje profundo para optimizar la precisión del reconocimiento de voz. Se informó que la tasa de error de palabras en el reconocimiento de voz era tan baja como la de 4 transcriptores humanos profesionales trabajando juntos en el mismo punto de referencia, que fue financiado por el equipo de voz de IBM Watson en la misma tarea. [68]
Tanto el modelado acústico como el modelado del lenguaje son partes importantes de los algoritmos modernos de reconocimiento de voz con base estadística. Los modelos ocultos de Markov (HMM) se utilizan ampliamente en muchos sistemas. El modelado del lenguaje también se utiliza en muchas otras aplicaciones de procesamiento del lenguaje natural, como la clasificación de documentos o la traducción automática estadística .
Los sistemas modernos de reconocimiento de voz de uso general se basan en modelos ocultos de Markov. Estos son modelos estadísticos que generan una secuencia de símbolos o cantidades. Los HMM se utilizan en el reconocimiento de voz porque una señal de voz puede verse como una señal estacionaria por partes o como una señal estacionaria de corta duración. En una escala de tiempo corta (por ejemplo, 10 milisegundos), el habla puede aproximarse a un proceso estacionario . Se puede considerar el habla como un modelo de Markov para muchos propósitos estocásticos.
Otra razón por la que los HMM son populares es que pueden entrenarse automáticamente y su uso es simple y computacionalmente factible. En el reconocimiento de voz, el modelo oculto de Markov generaría una secuencia de vectores de valores reales de n dimensiones (siendo n un número entero pequeño, como 10), generando uno de estos cada 10 milisegundos. Los vectores consistirían en coeficientes cepstrales , que se obtienen tomando una transformada de Fourier de una ventana de tiempo corta del habla y descorrelacionando el espectro usando una transformada coseno , luego tomando los primeros coeficientes (los más significativos). El modelo oculto de Markov tenderá a tener en cada estado una distribución estadística que es una mezcla de covarianzas diagonales gaussianas, lo que dará una probabilidad para cada vector observado. Cada palabra, o (para sistemas de reconocimiento de voz más generales), cada fonema , tendrá una distribución de salida diferente; Se crea un modelo de Markov oculto para una secuencia de palabras o fonemas concatenando los modelos de Markov ocultos entrenados individualmente para palabras y fonemas separados.
Anteriormente se describen los elementos centrales del enfoque de reconocimiento de voz más común basado en HMM. Los sistemas de reconocimiento de voz modernos utilizan varias combinaciones de una serie de técnicas estándar para mejorar los resultados con respecto al enfoque básico descrito anteriormente. Un sistema típico de gran vocabulario necesitaría dependencia del contexto para los fonemas (por lo que los fonemas con diferentes contextos izquierdo y derecho tienen diferentes realizaciones como dice HMM); usaría la normalización cepstral para normalizar para un hablante diferente y condiciones de grabación; para una mayor normalización del hablante, podría utilizar la normalización de la longitud del tracto vocal (VTLN) para la normalización hombre-mujer y la regresión lineal de máxima probabilidad (MLLR) para una adaptación más general del hablante. Las características tendrían los llamados coeficientes delta y delta-delta para capturar la dinámica del habla y, además, podrían utilizar análisis discriminante lineal heteroscedástico (HLDA); o podría omitir los coeficientes delta y delta-delta y utilizar empalme y una proyección basada en LDA seguida quizás de un análisis discriminante lineal heterocedástico o una transformación de covarianza semiligada global (también conocida como transformación lineal de máxima verosimilitud o MLLT). Muchos sistemas utilizan las llamadas técnicas de entrenamiento discriminativo que prescinden de un enfoque puramente estadístico para la estimación de parámetros HMM y en su lugar optimizan alguna medida de los datos de entrenamiento relacionada con la clasificación. Algunos ejemplos son información mutua máxima (MMI), error de clasificación mínimo (MCE) y error telefónico mínimo (MPE).
La decodificación del discurso (el término para lo que sucede cuando al sistema se le presenta una nueva expresión y debe calcular la oración fuente más probable) probablemente usaría el algoritmo de Viterbi para encontrar el mejor camino, y aquí hay una opción entre crear dinámicamente un Combinación del modelo oculto de Markov, que incluye información del modelo acústico y del lenguaje y la combina estáticamente de antemano (el enfoque del transductor de estado finito , o FST).
Una posible mejora en la decodificación es mantener un conjunto de buenos candidatos en lugar de simplemente mantener al mejor candidato, y utilizar una mejor función de puntuación (repuntuación) para calificar a estos buenos candidatos de modo que podamos elegir el mejor de acuerdo con esta puntuación refinada. . El conjunto de candidatos se puede mantener como una lista (el enfoque de la lista N-mejor) o como un subconjunto de los modelos (una red ). La re-puntuación generalmente se realiza tratando de minimizar el riesgo de Bayes [69] (o una aproximación del mismo): en lugar de tomar la oración fuente con la máxima probabilidad, intentamos tomar la oración que minimiza la expectativa de una función de pérdida dada con respecto a todas las transcripciones posibles (es decir, tomamos la oración que minimiza la distancia promedio a otras oraciones posibles ponderadas por su probabilidad estimada). La función de pérdida suele ser la distancia de Levenshtein , aunque pueden ser distancias diferentes para tareas específicas; el conjunto de posibles transcripciones, por supuesto, se poda para mantener la manejabilidad. Se han ideado algoritmos eficientes para volver a calificar redes representadas como transductores de estado finito ponderados con distancias de edición representadas como un transductor de estado finito que verifica ciertas suposiciones. [70]
La distorsión dinámica del tiempo es un enfoque que históricamente se utilizó para el reconocimiento de voz, pero que ahora ha sido desplazado en gran medida por el enfoque más exitoso basado en HMM.
La distorsión dinámica del tiempo es un algoritmo para medir la similitud entre dos secuencias que pueden variar en tiempo o velocidad. Por ejemplo, se detectarían similitudes en los patrones de marcha, incluso si en un vídeo la persona caminaba lentamente y en otro caminaba más rápido, o incluso si había aceleraciones y desaceleraciones durante el transcurso de una observación. DTW se ha aplicado a vídeo, audio y gráficos; de hecho, cualquier dato que pueda convertirse en una representación lineal se puede analizar con DTW.
Una aplicación muy conocida ha sido el reconocimiento automático de voz, para hacer frente a diferentes velocidades de habla. En general, es un método que permite a una computadora encontrar una coincidencia óptima entre dos secuencias dadas (por ejemplo, series de tiempo) con ciertas restricciones. Es decir, las secuencias se "deforman" de forma no lineal para que coincidan entre sí. Este método de alineación de secuencias se utiliza a menudo en el contexto de modelos ocultos de Markov.
Las redes neuronales surgieron como un enfoque atractivo de modelado acústico en ASR a finales de los años 1980. Desde entonces, las redes neuronales se han utilizado en muchos aspectos del reconocimiento de voz, como la clasificación de fonemas, [71] clasificación de fonemas mediante algoritmos evolutivos multiobjetivo, [72] reconocimiento de palabras aisladas, [73] reconocimiento de voz audiovisual , reconocimiento de locutor audiovisual y reconocimiento de locutor. adaptación.
Las redes neuronales hacen menos suposiciones explícitas sobre las propiedades estadísticas de las características que los HMM y tienen varias cualidades que las convierten en modelos de reconocimiento atractivos para el reconocimiento de voz. Cuando se utilizan para estimar las probabilidades de un segmento de característica del habla, las redes neuronales permiten un entrenamiento discriminativo de manera natural y eficiente. Sin embargo, a pesar de su eficacia para clasificar unidades de tiempo corto, como fonemas individuales y palabras aisladas, [74] las primeras redes neuronales rara vez tuvieron éxito en tareas de reconocimiento continuo debido a su capacidad limitada para modelar dependencias temporales.
Un enfoque para esta limitación fue utilizar redes neuronales como un paso de preprocesamiento, transformación de características o reducción de dimensionalidad, [75] antes del reconocimiento basado en HMM. Sin embargo, más recientemente, LSTM y redes neuronales recurrentes (RNN) relacionadas, [39] [43] [76] [77] redes neuronales de retardo de tiempo (TDNN), [78] y transformadores [48] [49] [50] han demostró un mejor desempeño en esta área.
También se están investigando las redes neuronales profundas y los codificadores automáticos de eliminación de ruido [79] . Una red neuronal de avance profundo (DNN) es una red neuronal artificial con múltiples capas ocultas de unidades entre las capas de entrada y salida. [53] Al igual que las redes neuronales poco profundas, las DNN pueden modelar relaciones complejas no lineales. Las arquitecturas DNN generan modelos compositivos, donde capas adicionales permiten la composición de características de capas inferiores, lo que brinda una enorme capacidad de aprendizaje y, por lo tanto, el potencial de modelar patrones complejos de datos de voz. [80]
En 2010, investigadores industriales, en colaboración con investigadores académicos, lograron un éxito de las DNN en el reconocimiento de voz de vocabulario amplio, donde se adoptaron grandes capas de salida de las DNN basadas en estados HMM dependientes del contexto construidos mediante árboles de decisión. [81] [82] [83] Consulte revisiones completas de este desarrollo y del estado del arte a partir de octubre de 2014 en el reciente libro Springer de Microsoft Research. [84] Véase también los antecedentes relacionados del reconocimiento automático de voz y el impacto de varios paradigmas de aprendizaje automático, en particular el aprendizaje profundo , en artículos de descripción general recientes. [85] [86]
Un principio fundamental del aprendizaje profundo es eliminar la ingeniería de funciones hecha a mano y utilizar funciones sin procesar. Este principio se exploró con éxito por primera vez en la arquitectura del codificador automático profundo en el espectrograma "sin procesar" o en las características del banco de filtros lineales, [87] mostrando su superioridad sobre las características de Mel-Cepstral que contienen algunas etapas de transformación fija a partir de espectrogramas. Más recientemente se ha demostrado que las verdaderas características "brutas" del habla, las formas de onda, producen excelentes resultados de reconocimiento de voz a mayor escala. [88]
Desde 2014, ha habido mucho interés de investigación en ASR "de extremo a extremo". Los enfoques tradicionales basados en fonética (es decir, todos los modelos basados en HMM ) requerían componentes separados y capacitación para el modelo de pronunciación, acústico y de lenguaje . Los modelos de un extremo a otro aprenden conjuntamente todos los componentes del reconocedor de voz. Esto es valioso ya que simplifica el proceso de capacitación y el proceso de implementación. Por ejemplo, se requiere un modelo de lenguaje n-gram para todos los sistemas basados en HMM, y un modelo de lenguaje n-gram típico a menudo ocupa varios gigabytes de memoria, lo que hace que su implementación en dispositivos móviles no sea práctica. [89] En consecuencia, los sistemas ASR comerciales modernos de Google y Apple (a partir de 2017 [actualizar]) se implementan en la nube y requieren una conexión de red en lugar del dispositivo local.
El primer intento de ASR de extremo a extremo fue con sistemas basados en Clasificación Temporal Conexionista (CTC) introducidos por Alex Graves de Google DeepMind y Navdeep Jaitly de la Universidad de Toronto en 2014. [90] El modelo consistía en redes neuronales recurrentes y una capa de CTC. En conjunto, el modelo RNN-CTC aprende la pronunciación y el modelo acústico juntos, sin embargo, es incapaz de aprender el idioma debido a supuestos de independencia condicional similares a un HMM. En consecuencia, los modelos CTC pueden aprender directamente a asignar la acústica del habla a los caracteres ingleses, pero los modelos cometen muchos errores ortográficos comunes y deben depender de un modelo de lenguaje independiente para limpiar las transcripciones. Posteriormente, Baidu amplió su trabajo con conjuntos de datos extremadamente grandes y demostró cierto éxito comercial en chino mandarín e inglés. [91] En 2016, la Universidad de Oxford presentó LipNet , [92] el primer modelo de lectura de labios a nivel de oración de un extremo a otro, que utiliza convoluciones espaciotemporales junto con una arquitectura RNN-CTC, superando el rendimiento a nivel humano en un conjunto de datos gramaticales restringidos. [93] Google DeepMind presentó en 2018 una arquitectura CNN-RNN-CTC a gran escala que logró un rendimiento 6 veces mejor que el de los expertos humanos. [94]
Un enfoque alternativo a los modelos basados en CTC son los modelos basados en la atención. Los modelos ASR basados en la atención fueron introducidos simultáneamente por Chan et al. de la Universidad Carnegie Mellon y Google Brain y Bahdanau et al. de la Universidad de Montreal en 2016. [95] [96] El modelo denominado "Listen, Attend and Spell" (LAS), literalmente "escucha" la señal acústica, presta "atención" a diferentes partes de la señal y "deletrea" " saca la transcripción un carácter a la vez. A diferencia de los modelos basados en CTC, los modelos basados en la atención no tienen suposiciones de independencia condicional y pueden aprender todos los componentes de un reconocedor de voz, incluido el modelo de pronunciación, acústico y de lenguaje directamente. Esto significa que, durante la implementación, no es necesario llevar consigo un modelo de lenguaje, lo que lo hace muy práctico para aplicaciones con memoria limitada. A finales de 2016, los modelos basados en la atención habían tenido un éxito considerable, incluso superando a los modelos CTC (con o sin un modelo de lenguaje externo). [97] Se han propuesto varias extensiones desde el modelo LAS original. La Descomposición de Secuencia Latente (LSD) fue propuesta por la Universidad Carnegie Mellon , el MIT y Google Brain para emitir directamente unidades de subpalabras que son más naturales que los caracteres ingleses; [98] La Universidad de Oxford y Google DeepMind ampliaron LAS a "Watch, Listen, Attend and Spell" (WLAS) para manejar la lectura de labios superando el rendimiento a nivel humano. [99]
Normalmente, una entrada de control manual, por ejemplo mediante un control digital en el volante, activa el sistema de reconocimiento de voz y esto se indica al conductor mediante un mensaje de audio. Después del mensaje de audio, el sistema tiene una "ventana de escucha" durante la cual puede aceptar una entrada de voz para su reconocimiento. [ cita necesaria ]
Se pueden usar comandos de voz simples para iniciar llamadas telefónicas, seleccionar estaciones de radio o reproducir música desde un teléfono inteligente, un reproductor de MP3 o una unidad flash con música compatible. Las capacidades de reconocimiento de voz varían según la marca y el modelo de automóvil. Algunos de los más recientes [ ¿cuándo? ] Los modelos de automóviles ofrecen reconocimiento de voz en lenguaje natural en lugar de un conjunto fijo de comandos, lo que permite al conductor utilizar oraciones completas y frases comunes. Por lo tanto, con tales sistemas no es necesario que el usuario memorice un conjunto de palabras de comando fijas. [ cita necesaria ]
La evaluación automática de la pronunciación es el uso del reconocimiento de voz para verificar la corrección del habla pronunciada, [100] a diferencia de la evaluación manual realizada por un instructor o supervisor. [101] También llamada verificación del habla, evaluación de la pronunciación y puntuación de la pronunciación, la principal aplicación de esta tecnología es la enseñanza de la pronunciación asistida por computadora (CAPT) cuando se combina con instrucción asistida por computadora para el aprendizaje de idiomas asistido por computadora (CALL), corrección del habla , o reducción de acento . La evaluación de la pronunciación no determina el habla desconocida (como en el dictado o la transcripción automática ), sino que, conociendo de antemano las palabras esperadas, intenta verificar la corrección de la pronunciación del alumno e idealmente su inteligibilidad para los oyentes, [102] [103 ] a veces junto con una prosodia a menudo intrascendente como la entonación , el tono , el tempo , el ritmo y el acento . [104] La evaluación de la pronunciación también se utiliza en la tutoría de lectura , por ejemplo, en productos como Microsoft Teams [105] y de Amira Learning. [106] La evaluación automática de la pronunciación también se puede utilizar para ayudar a diagnosticar y tratar trastornos del habla como la apraxia . [107]
Evaluar la inteligibilidad auténtica del oyente es esencial para evitar imprecisiones debidas al sesgo del acento , especialmente en evaluaciones de alto riesgo; [108] [109] [110] de palabras con múltiples pronunciaciones correctas; [111] y de errores de codificación de fonemas en diccionarios de pronunciación legibles por máquina. [112] En 2022, los investigadores descubrieron que algunos sistemas de conversión de voz a texto más nuevos, basados en el aprendizaje por refuerzo de un extremo a otro para mapear señales de audio directamente en palabras, producen puntuaciones de confianza en palabras y frases muy estrechamente correlacionadas con la inteligibilidad genuina del oyente. [113] En los criterios de evaluación del Marco Común Europeo de Referencia para las Lenguas (MCER) para el "control fonológico general", la inteligibilidad pesa más que la pronunciación formalmente correcta en todos los niveles. [114]
En el sector de la atención médica , el reconocimiento de voz se puede implementar al principio o al final del proceso de documentación médica. El reconocimiento de voz frontal es donde el proveedor dicta en un motor de reconocimiento de voz, las palabras reconocidas se muestran a medida que se pronuncian y el dictador es responsable de editar y aprobar el documento. El reconocimiento de voz diferido o back-end es donde el proveedor dicta en un sistema de dictado digital , la voz se enruta a través de una máquina de reconocimiento de voz y el documento borrador reconocido se enruta junto con el archivo de voz original al editor, donde se edita el borrador. y informe finalizado. El reconocimiento de voz diferido se utiliza ampliamente en la industria actualmente.
Uno de los principales problemas relacionados con el uso del reconocimiento de voz en la atención médica es que la Ley Estadounidense de Recuperación y Reinversión de 2009 ( ARRA ) proporciona beneficios financieros sustanciales a los médicos que utilizan un EMR de acuerdo con los estándares de "uso significativo". Estos estándares requieren que el EMR (ahora más comúnmente conocido como Registro Médico Electrónico o EHR) mantenga una cantidad sustancial de datos . El uso del reconocimiento de voz se adapta más naturalmente a la generación de texto narrativo, como parte de una interpretación de radiología/patología, nota de progreso o resumen de alta: las ventajas ergonómicas de usar el reconocimiento de voz para ingresar datos estructurados discretos (p. ej., valores numéricos o códigos de una lista o de un vocabulario controlado ) son relativamente mínimos para las personas que pueden ver y que pueden utilizar un teclado y un ratón.
Un problema más importante es que la mayoría de los EHR no se han diseñado expresamente para aprovechar las capacidades de reconocimiento de voz. Una gran parte de la interacción del médico con el EHR implica la navegación a través de la interfaz de usuario mediante menús y clics en pestañas/botones, y depende en gran medida del teclado y el mouse: la navegación basada en voz proporciona solo beneficios ergonómicos modestos. Por el contrario, muchos sistemas altamente personalizados para dictado de radiología o patología implementan "macros" de voz, donde el uso de ciertas frases (por ejemplo, "informe normal") completará automáticamente una gran cantidad de valores predeterminados y/o generará un texto estándar, que varían según el tipo de examen, por ejemplo, una radiografía de tórax frente a una serie de contraste gastrointestinal para un sistema de radiología.
El uso prolongado de software de reconocimiento de voz junto con procesadores de texto ha demostrado beneficios para el fortalecimiento de la memoria a corto plazo en pacientes con MAV cerebral que han sido tratados con resección . Es necesario realizar más investigaciones para determinar los beneficios cognitivos para las personas cuyas MAV han sido tratadas mediante técnicas radiológicas. [ cita necesaria ]
En la última década se han dedicado esfuerzos sustanciales a la prueba y evaluación del reconocimiento de voz en aviones de combate . De particular interés han sido el programa estadounidense de reconocimiento de voz para el avión Advanced Fighter Technology Integration (AFTI) / F-16 ( F-16 VISTA ), el programa en Francia para el avión Mirage y otros programas en el Reino Unido que se ocupan de una variedad de de plataformas de aviones. En estos programas, los reconocedores de voz se han utilizado con éxito en aviones de combate, con aplicaciones que incluyen la configuración de frecuencias de radio, el control de un sistema de piloto automático, el establecimiento de coordenadas de puntos de dirección y parámetros de lanzamiento de armas, y el control de la visualización de vuelo.
Trabajando con pilotos suecos que volaban en la cabina del JAS-39 Gripen, Englund (2004) encontró que el reconocimiento se deterioraba con el aumento de las cargas G. El informe también concluyó que la adaptación mejoró enormemente los resultados en todos los casos y que se demostró que la introducción de modelos de respiración mejoraba significativamente las puntuaciones de reconocimiento. Contrariamente a lo que se podría esperar, no se encontraron efectos del inglés deficiente de los hablantes. Era evidente que el habla espontánea causaba problemas al reconocedor, como era de esperar. Por tanto, se podría esperar que un vocabulario restringido y, sobre todo, una sintaxis adecuada mejoraran sustancialmente la precisión del reconocimiento. [115]
El Eurofighter Typhoon , actualmente en servicio con la RAF del Reino Unido , emplea un sistema dependiente del altavoz, lo que requiere que cada piloto cree una plantilla. El sistema no se utiliza para ninguna tarea crítica para la seguridad o para las armas, como soltar el arma o bajar el tren de aterrizaje, pero se utiliza para una amplia gama de otras funciones de la cabina. Los comandos de voz se confirman mediante retroalimentación visual y/o auditiva. El sistema se considera una característica de diseño importante en la reducción de la carga de trabajo del piloto , [116] e incluso permite al piloto asignar objetivos a su avión con dos simples comandos de voz o a cualquiera de sus compañeros con solo cinco comandos. [117]
También se están desarrollando y probando sistemas independientes de los altavoces para el F35 Lightning II (JSF) y el entrenador de combate principal Alenia Aermacchi M-346 Master . Estos sistemas han producido puntuaciones de precisión de palabras superiores al 98%. [118]
Los problemas de lograr una alta precisión de reconocimiento bajo estrés y ruido son particularmente relevantes en el entorno de los helicópteros así como en el entorno de los aviones de combate. El problema del ruido acústico es en realidad más grave en el entorno de los helicópteros, no sólo por los altos niveles de ruido sino también porque el piloto del helicóptero, en general, no lleva mascarilla , lo que reduciría el ruido acústico en el micrófono . En la última década se han llevado a cabo importantes programas de prueba y evaluación de aplicaciones de sistemas de reconocimiento de voz en helicópteros, en particular por parte de la Actividad de Investigación y Desarrollo de Aviónica del Ejército de los EE. UU . (AVRADA) y del Royal Aerospace Establishment ( RAE ) del Reino Unido. Los trabajos en Francia han incluido el reconocimiento de voz en el helicóptero Puma . También se han realizado muchos trabajos útiles en Canadá . Los resultados han sido alentadores y las aplicaciones de voz han incluido: control de radios de comunicación, configuración de sistemas de navegación y control de un sistema automatizado de traspaso de objetivos.
Al igual que en las aplicaciones de combate, la cuestión primordial de la voz en los helicópteros es el impacto en la eficacia del piloto. Se reportan resultados alentadores para las pruebas AVRADA, aunque representan sólo una demostración de viabilidad en un entorno de prueba. Queda mucho por hacer tanto en el reconocimiento de voz como en la tecnología del habla en general para lograr mejoras consistentes en el rendimiento en entornos operativos.
La formación de controladores de tránsito aéreo (ATC) representa una excelente aplicación para los sistemas de reconocimiento de voz. Muchos sistemas de formación ATC actualmente requieren que una persona actúe como "pseudopiloto", entablando un diálogo de voz con el controlador en formación, que simula el diálogo que el controlador tendría que mantener con los pilotos en una situación real de ATC. Las técnicas de síntesis y reconocimiento de voz ofrecen el potencial de eliminar la necesidad de que una persona actúe como pseudopiloto, reduciendo así la capacitación y el personal de apoyo. En teoría, las tareas de los controladores aéreos también se caracterizan por un habla altamente estructurada como salida principal del controlador, por lo que debería ser posible reducir la dificultad de la tarea de reconocimiento de voz. En la práctica, esto rara vez ocurre. El documento 7110.65 de la FAA detalla las frases que deben utilizar los controladores de tránsito aéreo. Si bien este documento proporciona menos de 150 ejemplos de este tipo de frases, el número de frases admitidas por uno de los sistemas de reconocimiento de voz de uno de los proveedores de simulación supera las 500.000.
La USAF, el USMC, el Ejército de los EE. UU., la Marina de los EE. UU. y la FAA, así como una serie de organizaciones internacionales de capacitación ATC, como la Real Fuerza Aérea Australiana y las autoridades de aviación civil en Italia, Brasil y Canadá, están utilizando actualmente simuladores ATC con reconocimiento de voz de varios proveedores diferentes. [ cita necesaria ]
ASR es ahora algo común en el campo de la telefonía y cada vez está más extendido en el campo de los juegos de ordenador y la simulación. En los sistemas de telefonía, ASR se utiliza ahora predominantemente en centros de contacto integrándolo con sistemas IVR . A pesar del alto nivel de integración con el procesamiento de textos en la informática personal en general, en el campo de la producción de documentos, ASR no ha experimentado los aumentos esperados en su uso.
La mejora de las velocidades de los procesadores móviles ha hecho que el reconocimiento de voz sea práctico en los teléfonos inteligentes . La voz se utiliza principalmente como parte de una interfaz de usuario, para crear comandos de voz predefinidos o personalizados.
Las personas con discapacidad pueden beneficiarse de los programas de reconocimiento de voz. Para las personas sordas o con problemas de audición, el software de reconocimiento de voz se utiliza para generar automáticamente subtítulos de conversaciones, como discusiones en salas de conferencias, conferencias en el aula y/o servicios religiosos. [119]
Los estudiantes ciegos (ver Ceguera y educación ) o que tienen muy baja visión pueden beneficiarse del uso de la tecnología para transmitir palabras y luego escuchar a la computadora recitarlas, así como también usar una computadora ordenando con su voz, en lugar de tener que mirar. la pantalla y el teclado. [120]
Los estudiantes con discapacidad física que tienen una lesión por esfuerzo repetitivo u otras lesiones en las extremidades superiores pueden liberarse de tener que preocuparse por escribir a mano, mecanografiar o trabajar con escribas en las tareas escolares mediante el uso de programas de conversión de voz a texto. También pueden utilizar la tecnología de reconocimiento de voz para disfrutar de la búsqueda en Internet o usar una computadora en casa sin tener que operar físicamente un mouse y un teclado. [120]
El reconocimiento de voz puede permitir que los estudiantes con dificultades de aprendizaje se conviertan en mejores escritores. Al decir las palabras en voz alta, pueden aumentar la fluidez de su escritura y aliviar las preocupaciones relacionadas con la ortografía, la puntuación y otras mecánicas de la escritura. [121] Véase también Discapacidad de aprendizaje .
El uso de software de reconocimiento de voz, junto con una grabadora de audio digital y una computadora personal con software de procesamiento de textos, ha demostrado ser positivo para restaurar la capacidad de memoria a corto plazo dañada en personas con accidente cerebrovascular y craneotomía.
El reconocimiento de voz también es muy útil para las personas que tienen dificultades para usar las manos, desde lesiones leves por estrés repetitivo hasta discapacidades que impiden el uso de dispositivos de entrada de computadora convencionales. De hecho, las personas que usaban mucho el teclado y desarrollaron RSI se convirtieron en un mercado urgente para el reconocimiento de voz. [122] [123] El reconocimiento de voz se utiliza en telefonía para sordos , como correo de voz a texto, servicios de retransmisión y teléfono con subtítulos . Las personas con problemas de aprendizaje que tienen problemas con la comunicación del pensamiento al papel (esencialmente piensan en una idea pero se procesa incorrectamente, lo que hace que termine de manera diferente en el papel) posiblemente puedan beneficiarse del software, pero la tecnología no es a prueba de errores. [124] Además, la idea de hablar con texto puede ser difícil para las personas con discapacidad intelectual debido al hecho de que es raro que alguien intente aprender la tecnología para enseñar a la persona con discapacidad. [125]
Este tipo de tecnología puede ayudar a las personas con dislexia, pero otras discapacidades aún están en duda. La eficacia del producto es el problema que impide que sea eficaz. Aunque un niño puede decir una palabra dependiendo de qué tan claramente la diga, la tecnología puede pensar que está diciendo otra palabra e ingresar la incorrecta. Les da más trabajo para corregir, lo que hace que tengan que dedicar más tiempo a corregir la palabra equivocada. [126]
El rendimiento de los sistemas de reconocimiento de voz suele evaluarse en términos de precisión y velocidad. [131] [132] La precisión generalmente se clasifica con la tasa de error de palabras (WER), mientras que la velocidad se mide con el factor de tiempo real. Otras medidas de precisión incluyen la tasa de error de una sola palabra (SWER) y la tasa de éxito de comandos (CSR).
Sin embargo, el reconocimiento de voz por máquina es un problema muy complejo. Las vocalizaciones varían en términos de acento, pronunciación, articulación, aspereza, nasalidad, tono, volumen y velocidad. El habla se distorsiona por el ruido de fondo y los ecos, características eléctricas. La precisión del reconocimiento de voz puede variar según lo siguiente: [133] [ cita necesaria ]
Como se mencionó anteriormente en este artículo, la precisión del reconocimiento de voz puede variar según los siguientes factores:
En el habla discontinua se utilizan frases completas separadas por silencio, por lo que resulta más fácil reconocer el habla tanto como en el habla aislada.
En el habla continua se utilizan frases habladas de forma natural, por lo que resulta más difícil reconocer el habla, a diferencia del habla aislada y discontinua.
Las restricciones suelen estar representadas por la gramática.
El reconocimiento de voz es una tarea de reconocimiento de patrones de varios niveles.
por ejemplo, pronunciaciones de palabras conocidas o secuencias de palabras legales, que pueden compensar errores o incertidumbres en un nivel inferior;
Para conversaciones telefónicas, la velocidad de muestreo es de 8.000 muestras por segundo;
calculado cada 10 ms, con una sección de 10 ms llamada trama;
El análisis de los enfoques de redes neuronales de cuatro pasos se puede explicar con más información. El sonido se produce por la vibración del aire (o de algún otro medio), que registramos con los oídos, pero las máquinas, con los receptores. El sonido básico crea una onda que tiene dos descripciones: amplitud (qué tan fuerte es) y frecuencia (con qué frecuencia vibra por segundo). La precisión se puede calcular con la ayuda de la tasa de error de palabras (WER). La tasa de error de palabras se puede calcular alineando la palabra reconocida y la palabra referenciada mediante la alineación dinámica de cadenas. El problema puede ocurrir al calcular la tasa de error de palabras debido a la diferencia entre las longitudes de secuencia de la palabra reconocida y la palabra referenciada.
La fórmula para calcular la tasa de error de palabras (WER) es:
donde s es el número de sustituciones, d es el número de eliminaciones, i es el número de inserciones y n es el número de referencias de palabras.
Durante la computación, se utiliza la tasa de reconocimiento de palabras (WRR). La fórmula es:
donde h es el número de palabras reconocidas correctamente:
El reconocimiento de voz puede convertirse en un medio de ataque, robo o operación accidental. Por ejemplo, palabras de activación como "Alexa" pronunciadas en una transmisión de audio o video pueden hacer que los dispositivos en hogares y oficinas comiencen a escuchar entradas de manera inapropiada o posiblemente realicen una acción no deseada. [135] Los dispositivos controlados por voz también son accesibles para los visitantes del edificio, o incluso para aquellos que se encuentran fuera del edificio si se pueden escuchar en el interior. Los atacantes pueden obtener acceso a información personal, como calendario, contenido de la libreta de direcciones, mensajes privados y documentos. También podrán hacerse pasar por el usuario para enviar mensajes o realizar compras en línea.
Se han demostrado dos ataques que utilizan sonidos artificiales. Uno transmite ultrasonidos e intenta enviar comandos sin que las personas cercanas se den cuenta. [136] El otro agrega pequeñas distorsiones inaudibles a otras palabras o música que están especialmente diseñadas para confundir el sistema de reconocimiento de voz específico y hacer que reconozca la música como voz, o para hacer que lo que suena como una orden para un humano suene como una orden diferente para el otro. sistema. [137]
Las conferencias populares sobre reconocimiento de voz que se celebran cada uno o dos años incluyen SpeechTEK y SpeechTEK Europe, ICASSP , Interspeech/Eurospeech y IEEE ASRU. Las conferencias en el campo del procesamiento del lenguaje natural , como ACL , NAACL , EMNLP y HLT, están comenzando a incluir artículos sobre el procesamiento del habla . Las revistas importantes incluyen IEEE Transactions on Speech and Audio Processing (más tarde renombrada IEEE Transactions on Audio, Speech and Language Processing y desde septiembre de 2014 renombrada IEEE /ACM Transactions on Audio, Speech and Language Processing, después de fusionarse con una publicación de ACM), Computer Speech y Lenguaje y Comunicación del Habla.
Libros como "Fundamentos del reconocimiento de voz" de Lawrence Rabiner pueden resultar útiles para adquirir conocimientos básicos pero es posible que no estén totalmente actualizados (1993). Otra buena fuente puede ser "Statistical Methods for Speech Recognition" de Frederick Jelinek y "Spoken Language Processing (2001)" de Xuedong Huang , etc., "Computer Speech", de Manfred R. Schroeder , segunda edición publicada en 2004, y "Speech Processing: A Dynamic and Optimization-Oriented Approach", publicado en 2003 por Li Deng y Doug O'Shaughnessey. El libro de texto actualizado Speech and Language Processing (2008) de Jurafsky y Martin presenta los conceptos básicos y el estado del arte de ASR. El reconocimiento de locutor también utiliza las mismas características, la mayoría del mismo procesamiento frontal y técnicas de clasificación que se realizan en el reconocimiento de voz. Un libro de texto completo, "Fundamentos del reconocimiento del hablante" es una fuente detallada de detalles actualizados sobre la teoría y la práctica. [138] Se puede obtener una buena idea de las técnicas utilizadas en los mejores sistemas modernos prestando atención a las evaluaciones patrocinadas por el gobierno, como las organizadas por DARPA (el mayor proyecto relacionado con el reconocimiento de voz en curso en 2007 es el proyecto GALE, que involucra componentes de reconocimiento de voz y de traducción).
Una buena y accesible introducción a la tecnología de reconocimiento de voz y su historia la proporciona el libro para público general "La voz en la máquina. Construyendo computadoras que entiendan el habla" de Roberto Pieraccini (2012).
El libro más reciente sobre reconocimiento de voz es Reconocimiento automático de voz: un enfoque de aprendizaje profundo (Editorial: Springer) escrito por los investigadores de Microsoft D. Yu y L. Deng y publicado a finales de 2014, con detalles técnicos altamente orientados matemáticamente sobre cómo funciona el aprendizaje profundo. Los métodos se derivan e implementan en sistemas modernos de reconocimiento de voz basados en DNN y métodos de aprendizaje profundo relacionados. [84] Un libro relacionado, publicado a principios de 2014, "Aprendizaje profundo: métodos y aplicaciones" de L. Deng y D. Yu proporciona una descripción general menos técnica pero más centrada en la metodología del reconocimiento de voz basado en DNN durante 2009-2014, ubicado dentro del contexto más general de las aplicaciones de aprendizaje profundo, que incluyen no solo el reconocimiento de voz sino también el reconocimiento de imágenes, el procesamiento del lenguaje natural, la recuperación de información, el procesamiento multimodal y el aprendizaje multitarea. [80]
En términos de recursos disponibles gratuitamente, el kit de herramientas Sphinx de la Universidad Carnegie Mellon es un lugar para comenzar a aprender sobre el reconocimiento de voz y comenzar a experimentar. Otro recurso (gratuito pero con derechos de autor) es el libro HTK (y el kit de herramientas HTK que lo acompaña). Para técnicas más recientes y de última generación, se puede utilizar el kit de herramientas Kaldi . [139] En 2017, Mozilla lanzó el proyecto de código abierto llamado Common Voice [140] para recopilar una gran base de datos de voces que ayudaría a construir el proyecto de reconocimiento de voz gratuito DeepSpeech (disponible de forma gratuita en GitHub ), [141] utilizando la plataforma de código abierto de Google, TensorFlow . [142] Cuando Mozilla desvió la financiación del proyecto en 2020, sus desarrolladores originales lo bifurcaron como Coqui STT [143] utilizando la misma licencia de código abierto. [144] [145]
Google Gboard admite el reconocimiento de voz en todas las aplicaciones de Android . Se puede activar a través del icono del micrófono . [146]
Las API comerciales de reconocimiento de voz basadas en la nube están ampliamente disponibles.
Para obtener más recursos de software, consulte Lista de software de reconocimiento de voz .
Cuando hablas con alguien, no sólo reconoce lo que dices: reconoce quién eres.
WhisperID permitirá que las computadoras también hagan eso, descubriendo quién es usted por su forma de hablar.
{{cite journal}}: Citar diario requiere |journal=( ayuda ){{cite journal}}: Citar diario requiere |journal=( ayuda )Maners dijo que IBM ha trabajado en el avance del reconocimiento de voz... o en el piso de una ruidosa feria comercial.
Las primeras aplicaciones de software de reconocimiento de voz fueron el dictado... Hace cuatro meses, IBM presentó un 'producto de dictado continuo' diseñado para... debutó en la feria comercial de la Asociación Nacional de Viajes de Negocios en 1994.
Hace apenas unos años, el reconocimiento de voz se limitaba a...
{{cite journal}}: Citar diario requiere |journal=( ayuda )solo el 16% de la variabilidad en la inteligibilidad a nivel de palabras puede explicarse por la presencia de errores de pronunciación evidentes.
Los investigadores de pronunciación están interesados principalmente en mejorar la inteligibilidad y comprensibilidad de los estudiantes de L2, pero aún no han recopilado cantidades suficientes de datos representativos y confiables (grabaciones de discursos con las correspondientes anotaciones y juicios) que indiquen qué errores afectan estas dimensiones del habla y cuáles no. .
Estos datos son esenciales para entrenar algoritmos ASR para evaluar la inteligibilidad de los estudiantes de L2.