Procesamiento natural del lenguaje

Campo de la lingüística y la informática.

El procesamiento del lenguaje natural ( PNL ) es un subcampo interdisciplinario de la informática y la lingüística . Se ocupa principalmente de dar a las computadoras la capacidad de soportar y manipular el lenguaje humano. Implica procesar conjuntos de datos de lenguaje natural , como corpus de texto o corpus de voz, utilizando enfoques de aprendizaje automático basados ​​en reglas o probabilísticos (es decir, estadísticos y, más recientemente, basados ​​en redes neuronales) . El objetivo es una computadora capaz de "comprender" el contenido de los documentos, incluidos los matices contextuales del lenguaje que contienen. Luego, la tecnología puede extraer con precisión la información y los conocimientos contenidos en los documentos, así como categorizar y organizar los propios documentos.

Los desafíos en el procesamiento del lenguaje natural frecuentemente involucran el reconocimiento del habla , la comprensión del lenguaje natural y la generación del lenguaje natural .

Historia

El procesamiento del lenguaje natural tiene sus raíces en la década de 1940. ^[1] Ya en 1940, Alan Turing publicó un artículo titulado " Computing Machinery and Intelligence " que proponía lo que hoy se llama prueba de Turing como criterio de inteligencia, aunque en aquel momento no se articulaba como un problema separado de la inteligencia artificial. La prueba propuesta incluye una tarea que involucra la interpretación y generación automatizada de lenguaje natural.

PNL simbólica (década de 1950 - principios de 1990)

La premisa de la PNL simbólica está bien resumida en el experimento de la sala china de John Searle : dada una colección de reglas (por ejemplo, un libro de frases en chino, con preguntas y respuestas coincidentes), la computadora emula la comprensión del lenguaje natural (u otras tareas de PNL) mediante aplicar esas reglas a los datos que confronta.

• Década de 1950 : El experimento de Georgetown en 1954 implicó la traducción totalmente automática de más de sesenta frases del ruso al inglés. Los autores afirmaron que dentro de tres o cinco años la traducción automática sería un problema resuelto. ^[2] Sin embargo, el progreso real fue mucho más lento, y después del informe ALPAC de 1966, que encontró que una investigación de diez años no había cumplido las expectativas, la financiación para la traducción automática se redujo drásticamente. En Estados Unidos se realizaron pocas investigaciones adicionales sobre traducción automática (aunque algunas investigaciones continuaron en otros lugares, como Japón y Europa ^[3] ) hasta finales de la década de 1980, cuando se desarrollaron los primeros sistemas estadísticos de traducción automática .
• Década de 1960 : Algunos sistemas de procesamiento del lenguaje natural notablemente exitosos desarrollados en la década de 1960 fueron SHRDLU , un sistema de lenguaje natural que funciona en " mundos de bloques " restringidos con vocabularios restringidos, y ELIZA , una simulación de un psicoterapeuta rogeriano , escrita por Joseph Weizenbaum entre 1964 y 1966. Casi sin utilizar información sobre el pensamiento o las emociones humanas, ELIZA a veces proporcionaba una interacción sorprendentemente humana. Cuando el "paciente" excedía la muy pequeña base de conocimientos, ELIZA podría proporcionar una respuesta genérica, por ejemplo, respondiendo a "Me duele la cabeza" con "¿Por qué dices que te duele la cabeza?". El exitoso trabajo de Ross Quillian sobre el lenguaje natural quedó demostrado con un vocabulario de sólo veinte palabras, porque eso era todo lo que cabía en la memoria de una computadora en ese momento. ^[4]

• Década de 1970 : Durante la década de 1970, muchos programadores comenzaron a escribir " ontologías conceptuales ", que estructuraban información del mundo real en datos comprensibles por computadora. Algunos ejemplos son MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) y Plot Units (Lehnert 1981). ). Durante este tiempo, se escribieron los primeros chatterbots (por ejemplo, PARRY ).
• Década de 1980 : Los años 80 y principios de los 90 marcan el apogeo de los métodos simbólicos en la PNL. Las áreas de enfoque de la época incluían investigación sobre análisis sintáctico basado en reglas (p. ej., el desarrollo de HPSG como una operacionalización computacional de la gramática generativa ), morfología (p. ej., morfología de dos niveles ^[5] ), semántica (p. ej., algoritmo de Lesk ), referencia (por ejemplo, dentro de la Teoría del Centramiento ^[6] ) y otras áreas de la comprensión del lenguaje natural (por ejemplo, en la Teoría de la Estructura Retórica ). Se continuaron otras líneas de investigación, por ejemplo, el desarrollo de chatterbots con Racter y Jabberwacky . Un avance importante (que eventualmente condujo al giro estadístico en la década de 1990) fue la creciente importancia de la evaluación cuantitativa en este período. ^[7]

PNL estadística (décadas de 1990 a 2010)

Up until the 1980s, most natural language processing systems were based on complex sets of hand-written rules. Starting in the late 1980s, however, there was a revolution in natural language processing with the introduction of machine learning algorithms for language processing. This was due to both the steady increase in computational power (see Moore's law) and the gradual lessening of the dominance of Chomskyan theories of linguistics (e.g. transformational grammar), whose theoretical underpinnings discouraged the sort of corpus linguistics that underlies the machine-learning approach to language processing.^[8]

• 1990s: Many of the notable early successes on statistical methods in NLP occurred in the field of machine translation, due especially to work at IBM Research, such as IBM alignment models. These systems were able to take advantage of existing multilingual textual corpora that had been produced by the Parliament of Canada and the European Union as a result of laws calling for the translation of all governmental proceedings into all official languages of the corresponding systems of government. However, most other systems depended on corpora specifically developed for the tasks implemented by these systems, which was (and often continues to be) a major limitation in the success of these systems. As a result, a great deal of research has gone into methods of more effectively learning from limited amounts of data.
• 2000s: With the growth of the web, increasing amounts of raw (unannotated) language data has become available since the mid-1990s. Research has thus increasingly focused on unsupervised and semi-supervised learning algorithms. Such algorithms can learn from data that has not been hand-annotated with the desired answers or using a combination of annotated and non-annotated data. Generally, this task is much more difficult than supervised learning, and typically produces less accurate results for a given amount of input data. However, there is an enormous amount of non-annotated data available (including, among other things, the entire content of the World Wide Web), which can often make up for the inferior results if the algorithm used has a low enough time complexity to be practical.

Neural NLP (present)

En 2003, el modelo de n-gramas de palabras , en ese momento el mejor algoritmo estadístico, fue superado por un perceptrón multicapa (con una única capa oculta y una longitud de contexto de varias palabras entrenadas en hasta 14 millones de palabras con un clúster de CPU en modelado de lenguaje ) por Yoshua Bengio con coautores. ^[9]

En 2010, Tomáš Mikolov (entonces estudiante de doctorado en la Universidad Tecnológica de Brno ) y sus coautores aplicaron una red neuronal recurrente simple con una única capa oculta al modelado del lenguaje, ^[10] y en los años siguientes desarrolló Word2vec . En la década de 2010, los métodos de aprendizaje automático de aprendizaje de representación y estilo de red neuronal profunda (que presentan muchas capas ocultas) se generalizaron en el procesamiento del lenguaje natural. Esa popularidad se debió en parte a una avalancha de resultados que muestran que tales técnicas ^{[11] [12]} pueden lograr resultados de última generación en muchas tareas de lenguaje natural, por ejemplo, en el modelado y análisis del lenguaje ^{[13] . [14] [15]} Esto es cada vez más importante en medicina y atención médica , donde la PNL ayuda a analizar notas y texto en registros médicos electrónicos que de otro modo serían inaccesibles para su estudio cuando se busca mejorar la atención ^[16] o proteger la privacidad del paciente. ^[17]

Enfoques: redes neuronales, simbólicas, estadísticas.

El enfoque simbólico, es decir, la codificación manual de un conjunto de reglas para manipular símbolos, junto con una búsqueda en el diccionario, fue históricamente el primer enfoque utilizado tanto por la IA en general como por la PNL en particular: [ ^{18] [19]} como por escribir gramáticas o idear reglas heurísticas para derivar .

Por otro lado, los enfoques de aprendizaje automático , que incluyen redes estadísticas y neuronales, tienen muchas ventajas sobre el enfoque simbólico:

• Tanto los métodos estadísticos como los de redes neuronales pueden centrarse más en los casos más comunes extraídos de un corpus de textos, mientras que el enfoque basado en reglas debe proporcionar reglas tanto para los casos raros como para los comunes por igual.

• Los modelos de lenguaje , producidos mediante métodos estadísticos o de redes neuronales, son más sólidos tanto para entradas desconocidas (por ejemplo, que contienen palabras o estructuras que no se han visto antes) como para entradas erróneas (por ejemplo, con palabras mal escritas o palabras omitidas accidentalmente) en comparación con las reglas. sistemas basados ​​en tecnología, que también son más costosos de producir.

• cuanto más grande es dicho modelo de lenguaje (probabilístico), más preciso se vuelve, en contraste con los sistemas basados ​​en reglas que pueden ganar precisión sólo aumentando la cantidad y complejidad de las reglas que conducen a problemas de intratabilidad .

Aunque los sistemas basados ​​en reglas para manipular símbolos todavía estaban en uso en 2020, se han vuelto prácticamente obsoletos con el avance de los LLM en 2023.

Antes de eso se usaban comúnmente:

• cuando la cantidad de datos de entrenamiento es insuficiente para aplicar con éxito métodos de aprendizaje automático, por ejemplo, para la traducción automática de idiomas de bajos recursos como los que proporciona el sistema Apertium ,
• para preprocesamiento en canalizaciones de PNL, por ejemplo, tokenización , o
• para posprocesar y transformar la salida de canales de PNL, por ejemplo, para la extracción de conocimiento a partir de análisis sintácticos.

Enfoque estadístico

A finales de los 80 y mediados de los 90, el enfoque estadístico puso fin a un período de invierno de la IA , causado por las ineficiencias de los enfoques basados ​​en reglas. ^{[20] [21]}

Los primeros árboles de decisión , que producían sistemas de reglas estrictas si-entonces , eran todavía muy similares a los viejos enfoques basados ​​en reglas. Sólo la introducción de modelos ocultos de Markov, aplicados al etiquetado de partes del discurso, anunció el fin del antiguo enfoque basado en reglas.

Redes neuronales

Un inconveniente importante de los métodos estadísticos es que requieren una ingeniería de características elaborada . Desde 2015, ^[22] el enfoque estadístico fue reemplazado por el enfoque de redes neuronales , que utiliza incrustaciones de palabras para capturar propiedades semánticas de las palabras.

Ya no se necesitan tareas intermedias (por ejemplo, etiquetado de partes del discurso y análisis de dependencias).

La traducción automática neuronal , basada en transformaciones de secuencia a secuencia recién inventadas , dejó obsoletos los pasos intermedios, como la alineación de palabras, que antes eran necesarios para la traducción automática estadística .

Tareas comunes de PNL

La siguiente es una lista de algunas de las tareas más comúnmente investigadas en el procesamiento del lenguaje natural. Algunas de estas tareas tienen aplicaciones directas en el mundo real, mientras que otras suelen servir como subtareas que se utilizan para ayudar a resolver tareas más grandes.

Aunque las tareas de procesamiento del lenguaje natural están estrechamente entrelazadas, se pueden subdividir en categorías para mayor comodidad. A continuación se proporciona una división aproximada.

Procesamiento de texto y voz.

Reconocimiento óptico de caracteres (OCR)

Dada una imagen que representa texto impreso, determine el texto correspondiente.

Reconocimiento de voz

Dado un clip de sonido de una persona o personas hablando, determine la representación textual del discurso. Esto es lo opuesto a texto a voz y es uno de los problemas extremadamente difíciles denominados coloquialmente " IA-completa " (ver arriba). En el habla natural apenas hay pausas entre palabras sucesivas y, por tanto, la segmentación del habla es una subtarea necesaria del reconocimiento del habla (ver más abajo). En la mayoría de los idiomas hablados, los sonidos que representan letras sucesivas se mezclan entre sí en un proceso denominado coarticulación , por lo que la conversión de la señal analógica en caracteres discretos puede ser un proceso muy difícil. Además, dado que las palabras del mismo idioma las pronuncian personas con diferentes acentos, el software de reconocimiento de voz debe poder reconocer la amplia variedad de entradas como idénticas entre sí en términos de su equivalente textual.

Segmentación del habla

Dado un clip de sonido de una persona o personas hablando, sepárelo en palabras. Una subtarea del reconocimiento de voz y normalmente se agrupa con ella.

Texto a voz

Dado un texto, transforma esas unidades y produce una representación hablada. La conversión de texto a voz se puede utilizar para ayudar a las personas con discapacidad visual. ^[23]

Segmentación de palabras ( tokenización )

Separe una porción de texto continuo en palabras separadas. Para un idioma como el inglés , esto es bastante trivial, ya que las palabras suelen estar separadas por espacios. Sin embargo, algunos idiomas escritos como el chino , el japonés y el tailandés no marcan los límites de las palabras de esa manera, y en esos idiomas la segmentación del texto es una tarea importante que requiere conocimiento del vocabulario y la morfología de las palabras en el idioma. A veces, este proceso también se utiliza en casos como la creación de una bolsa de palabras (BOW) en la minería de datos.

Análisis morfológico

Lematización

La tarea de eliminar únicamente las terminaciones flexivas y devolver la forma base del diccionario de una palabra, que también se conoce como lema. La lematización es otra técnica para reducir palabras a su forma normalizada. Pero en este caso, la transformación en realidad utiliza un diccionario para asignar palabras a su forma real. ^[24]

Segmentación morfológica

Separar palabras en morfemas individuales e identificar la clase de morfemas. La dificultad de esta tarea depende en gran medida de la complejidad de la morfología ( es decir , la estructura de las palabras) de la lengua que se esté considerando. El inglés tiene una morfología bastante simple, especialmente una morfología flexiva , por lo que a menudo es posible ignorar esta tarea por completo y simplemente modelar todas las formas posibles de una palabra (p. ej., "open, opens, open, opens") como palabras separadas. Sin embargo , en idiomas como el turco o el meitei , una lengua india altamente aglutinada , este enfoque no es posible, ya que cada entrada del diccionario tiene miles de formas posibles de palabras. ^[25]

Etiquetado de parte del discurso

Dada una oración, determine la parte del discurso (POS) para cada palabra. Muchas palabras, especialmente las comunes, pueden servir como múltiples partes del discurso. Por ejemplo, "libro" puede ser un sustantivo ("el libro sobre la mesa") o un verbo ("reservar un vuelo"); "conjunto" puede ser un sustantivo, verbo o adjetivo ; y "fuera" puede ser cualquiera de al menos cinco partes diferentes del discurso.

Derivado

El proceso de reducir palabras flexionadas (o a veces derivadas) a una forma base (por ejemplo, "cerrar" será la raíz de "cerrado", "cerrando", "cerrando", "más cerca", etc.). La derivación produce resultados similares a los de la lematización, pero lo hace basándose en reglas, no en un diccionario.

Análisis sintáctico

Inducción gramatical ^[26]

Generar una gramática formal que describa la sintaxis de un idioma.

Rompimiento de oraciones (también conocido como " desambiguación de límites de oraciones ")

Dado un fragmento de texto, encuentra los límites de la oración. Los límites de las oraciones suelen estar marcados por puntos u otros signos de puntuación , pero estos mismos caracteres pueden servir para otros propósitos (por ejemplo, marcar abreviaturas ).

Analizando

Determinar el árbol de análisis (análisis gramatical) de una oración determinada. La gramática de los lenguajes naturales es ambigua y las oraciones típicas tienen múltiples análisis posibles: quizás sorprendentemente, para una oración típica puede haber miles de análisis potenciales (la mayoría de los cuales parecerán completamente absurdos para un humano). Hay dos tipos principales de análisis: análisis de dependencia y análisis de circunscripciones . El análisis de dependencia se centra en las relaciones entre palabras en una oración (marcando cosas como objetos primarios y predicados), mientras que el análisis de circunscripciones se centra en construir el árbol de análisis utilizando una gramática probabilística libre de contexto (PCFG) (ver también gramática estocástica ).

Semántica léxica (de palabras individuales en contexto)

Semántica léxica

¿Cuál es el significado computacional de palabras individuales en contexto?

Semántica distributiva

¿Cómo podemos aprender representaciones semánticas de los datos?

Reconocimiento de entidad nombrada (NER)

Dada una secuencia de texto, determine qué elementos del texto corresponden a nombres propios, como personas o lugares, y cuál es el tipo de cada uno de esos nombres (por ejemplo, persona, ubicación, organización). Aunque las mayúsculas pueden ayudar a reconocer entidades nombradas en idiomas como el inglés, esta información no puede ayudar a determinar el tipo de entidad nombrada y, en cualquier caso, suele ser inexacta o insuficiente. Por ejemplo, la primera letra de una oración también está en mayúscula y las entidades nombradas a menudo abarcan varias palabras, de las cuales solo algunas están en mayúscula. Además, muchos otros idiomas con escrituras no occidentales (por ejemplo, chino o árabe ) no tienen ninguna mayúscula, e incluso los idiomas con mayúsculas pueden no utilizarlas de manera consistente para distinguir nombres. Por ejemplo, el alemán escribe con mayúscula todos los sustantivos , independientemente de que sean nombres, y el francés y el español no escriben con mayúscula los nombres que sirven como adjetivos . Otro nombre para esta tarea es clasificación de tokens. ^[27]

Análisis de sentimiento (ver también Análisis de sentimiento multimodal )

Extrae información subjetiva generalmente de un conjunto de documentos, a menudo utilizando revisiones en línea para determinar la "polaridad" sobre objetos específicos. Es especialmente útil para identificar tendencias de opinión pública en las redes sociales, para marketing.

Extracción de terminología

El objetivo de la extracción terminológica es extraer automáticamente términos relevantes de un corpus determinado.

Desambiguación del sentido de las palabras (WSD)

Muchas palabras tienen más de un significado ; tenemos que seleccionar el significado que tenga más sentido en el contexto. Para este problema, normalmente se nos proporciona una lista de palabras y sus sentidos asociados, por ejemplo, de un diccionario o de un recurso en línea como WordNet .

Vinculación de entidades

Muchas palabras, normalmente nombres propios, se refieren a entidades nombradas ; aquí tenemos que seleccionar la entidad (un individuo famoso, un lugar, una empresa, etc.) a la que se hace referencia en contexto.

Semántica relacional (semántica de oraciones individuales)

Extracción de relaciones

Dado un fragmento de texto, identifique las relaciones entre entidades nombradas (por ejemplo, quién está casado con quién).

análisis semántico

Dado un fragmento de texto (normalmente una oración), produzca una representación formal de su semántica, ya sea como un gráfico (por ejemplo, en el análisis AMR ) o de acuerdo con un formalismo lógico (por ejemplo, en el análisis DRT ). Este desafío generalmente incluye aspectos de varias tareas de PNL más elementales de la semántica (p. ej., etiquetado de roles semánticos, desambiguación del sentido de las palabras) y puede ampliarse para incluir un análisis del discurso completo (p. ej., análisis del discurso, correferencia; consulte Comprensión del lenguaje natural a continuación). .

Etiquetado de roles semánticos (ver también etiquetado de roles semánticos implícitos a continuación)

Dada una sola oración, identificar y eliminar la ambigüedad de los predicados semánticos (p. ej., marcos verbales ), luego identificar y clasificar los elementos del marco ( roles semánticos ).

Discurso (semántica más allá de oraciones individuales)

Resolución de correferencia

Dada una oración o un fragmento de texto más grande, determine qué palabras ("menciones") se refieren a los mismos objetos ("entidades"). La resolución de anáforas es un ejemplo específico de esta tarea y se ocupa específicamente de hacer coincidir los pronombres con los sustantivos o nombres a los que se refieren. La tarea más general de resolución de correferencia también incluye identificar las llamadas "relaciones puente" que involucran expresiones de referencia . Por ejemplo, en una oración como "Entró a la casa de John por la puerta principal", "la puerta principal" es una expresión de referencia y la relación puente que se debe identificar es el hecho de que la puerta a la que se hace referencia es la puerta principal de la casa de John. casa (en lugar de alguna otra estructura a la que también se podría hacer referencia).

Análisis del discurso

Esta rúbrica incluye varias tareas relacionadas. Una tarea es el análisis del discurso, es decir, identificar la estructura del discurso de un texto conectado, es decir, la naturaleza de las relaciones discursivas entre oraciones (por ejemplo, elaboración, explicación, contraste). Otra tarea posible es reconocer y clasificar los actos de habla en un fragmento de texto (por ejemplo, pregunta de sí o no, pregunta de contenido, afirmación, afirmación, etc.).

Etiquetado de roles semánticos implícitos

Dada una sola oración, identifique y elimine la ambigüedad de los predicados semánticos (por ejemplo, marcos verbales ) y sus roles semánticos explícitos en la oración actual (consulte Etiquetado de roles semánticos más arriba). Luego, identifique los roles semánticos que no se realizan explícitamente en la oración actual, clasifíquelos en argumentos que se realizan explícitamente en otras partes del texto y aquellos que no se especifican, y resuelva los primeros con el texto local. Una tarea estrechamente relacionada es la resolución de anáfora cero, es decir, la extensión de la resolución de correferencia a lenguajes pro-drop .

Reconocer la vinculación textual

Dados dos fragmentos de texto, determine si el hecho de que uno sea verdadero implica el otro, implica la negación del otro o permite que el otro sea verdadero o falso. ^[28]

Segmentación y reconocimiento de temas.

Dado un trozo de texto, sepárelo en segmentos, cada uno de los cuales está dedicado a un tema, e identifique el tema del segmento.

Minería de argumentos

El objetivo de la minería de argumentos es la extracción e identificación automática de estructuras argumentativas a partir de textos en lenguaje natural con la ayuda de programas informáticos. ^[29] Tales estructuras argumentativas incluyen la premisa, las conclusiones, el esquema argumentativo y la relación entre el argumento principal y el subsidiario, o el argumento principal y el contraargumento dentro del discurso. ^{[30] [31]}

Aplicaciones de PNL de nivel superior

Resumen automático (resumen de texto)

Produzca un resumen legible de un fragmento de texto. A menudo se utiliza para proporcionar resúmenes de texto de un tipo conocido, como trabajos de investigación o artículos en la sección financiera de un periódico.

Corrección de errores gramaticales

La detección y corrección de errores gramaticales implica una gran variedad de problemas en todos los niveles del análisis lingüístico (fonología/ortografía, morfología, sintaxis, semántica, pragmática). La corrección de errores gramaticales tiene un impacto ya que afecta a cientos de millones de personas que usan o adquieren el inglés como segunda lengua. Por lo tanto, desde 2011 ha estado sujeto a una serie de tareas compartidas. ^{[32] [33] [34]} En lo que respecta a la ortografía, la morfología, la sintaxis y ciertos aspectos de la semántica, y debido al desarrollo de potentes modelos de lenguaje neuronal como Como GPT-2 , esto ahora (2019) puede considerarse un problema en gran medida resuelto y se está comercializando en varias aplicaciones comerciales.

Traducción lógica

Traducir un texto de un lenguaje natural a la lógica formal.

Traducción automática (MT)

Traduce automáticamente texto de un idioma humano a otro. Este es uno de los problemas más difíciles y forma parte de una clase de problemas denominados coloquialmente " IA-completa ", es decir, que requieren todos los diferentes tipos de conocimientos que poseen los humanos (gramática, semántica, datos sobre el mundo real, etc.). .) para resolver adecuadamente.

Comprensión del lenguaje natural (NLU)

Convierta fragmentos de texto en representaciones más formales, como estructuras lógicas de primer orden , que sean más fáciles de manipular para los programas de computadora . La comprensión del lenguaje natural implica la identificación de la semántica pretendida entre las múltiples semánticas posibles que pueden derivarse de una expresión del lenguaje natural que generalmente toma la forma de notaciones organizadas de conceptos del lenguaje natural. La introducción y creación de un metamodelo y una ontología del lenguaje son soluciones eficientes, aunque empíricas. Para la construcción de una base de formalización semántica se espera una formalización explícita de la semántica del lenguaje natural sin confusiones con supuestos implícitos como el supuesto de mundo cerrado (CWA) versus el supuesto de mundo abierto , o el Sí/No subjetivo versus el Verdadero/Falso objetivo. . ^[35]

Generación de lenguaje natural (NLG):

Convierta información de bases de datos informáticas o intenciones semánticas en lenguaje humano legible.

generación de libros

La creación de libros completos no es una tarea de PNL propiamente dicha, sino una extensión de la generación de lenguaje natural y otras tareas de PNL. El primer libro generado por una máquina fue creado mediante un sistema basado en reglas en 1984 (Racter, La barba del policía está medio construida ). ^[36] El primer trabajo publicado sobre una red neuronal se publicó en 2018, 1 the Road , comercializado como una novela, contiene sesenta millones de palabras. Ambos sistemas son básicamente modelos de lenguaje elaborados pero sin sentido (sin semántica) . El primer libro científico generado por una máquina se publicó en 2019 (Beta Writer, Lithium-Ion Battery , Springer, Cham). ^[37] A diferencia de Racter y 1 the Road , esto se basa en conocimientos fácticos y en resúmenes de texto.

Documento AI

Una plataforma Document AI se encuentra encima de la tecnología PNL, lo que permite a los usuarios sin experiencia previa en inteligencia artificial, aprendizaje automático o PNL entrenar rápidamente una computadora para extraer los datos específicos que necesitan de diferentes tipos de documentos. Document AI basada en NLP permite a los equipos no técnicos acceder rápidamente a información oculta en documentos, por ejemplo, abogados, analistas de negocios y contadores. ^[38]

Gestión del diálogo

Sistemas informáticos destinados a conversar con un humano.

Respuesta a preguntas

Dada una pregunta en lenguaje humano, determine su respuesta. Las preguntas típicas tienen una respuesta correcta específica (como "¿Cuál es la capital de Canadá?"), pero a veces también se consideran preguntas abiertas (como "¿Cuál es el significado de la vida?").

Generación de texto a imagen

Dada una descripción de una imagen, genere una imagen que coincida con la descripción. ^[39]

Generación de texto a escena

Dada una descripción de una escena, genere un modelo 3D de la escena. ^{[40] [41]}

Texto a vídeo

Dada una descripción de un video, genere un video que coincida con la descripción. ^{[42] [43]}

Tendencias generales y (posibles) direcciones futuras

Con base en las tendencias de larga data en este campo, es posible extrapolar las direcciones futuras de la PNL. A partir de 2020, se pueden observar tres tendencias entre los temas de la serie de larga data de Tareas Compartidas de CoNLL: ^[44]

• Interés por los aspectos "cognitivos" cada vez más abstractos del lenguaje natural (1999-2001: análisis superficial, 2002-03: reconocimiento de entidades nombradas, 2006-09/2017-18: sintaxis de dependencia, 2004-05/2008-09 etiquetado de roles semánticos, 2011–12 correferencia, 2015–16: análisis del discurso, 2019: análisis semántico).
• Interés creciente por el multilingüismo y, potencialmente, la multimodalidad (inglés desde 1999; español, holandés desde 2002; alemán desde 2003; búlgaro, danés, japonés, portugués, esloveno, sueco, turco desde 2006; vasco, catalán, chino, griego, húngaro). , italiano, turco desde 2007; checo desde 2009; árabe desde 2012; 2017: más de 40 idiomas; 2018: más de 60/100+ idiomas)
• Eliminación de representaciones simbólicas (basadas en reglas sobre métodos supervisados ​​hacia métodos débilmente supervisados, aprendizaje de representaciones y sistemas de extremo a extremo)

Cognición

La mayoría de las aplicaciones de PNL de nivel superior implican aspectos que emulan el comportamiento inteligente y la aparente comprensión del lenguaje natural. En términos más generales, la operacionalización técnica de aspectos cada vez más avanzados del comportamiento cognitivo representa una de las trayectorias de desarrollo de la PNL (ver tendencias entre las tareas compartidas de CoNLL más arriba).

La cognición se refiere a "la acción o proceso mental de adquirir conocimiento y comprensión a través del pensamiento, la experiencia y los sentidos". ^[45] La ciencia cognitiva es el estudio científico interdisciplinario de la mente y sus procesos. ^[46] La lingüística cognitiva es una rama interdisciplinaria de la lingüística, que combina conocimientos e investigaciones tanto de la psicología como de la lingüística. ^[47] Especialmente durante la era de la PNL simbólica, el área de la lingüística computacional mantuvo fuertes vínculos con los estudios cognitivos.

Como ejemplo, George Lakoff ofrece una metodología para construir algoritmos de procesamiento del lenguaje natural (PNL) a través de la perspectiva de la ciencia cognitiva, junto con los hallazgos de la lingüística cognitiva, ^[48] con dos aspectos definitorios:

1. Se aplica la teoría de la metáfora conceptual , explicada por Lakoff como "la comprensión de una idea, en términos de otra" que proporciona una idea de la intención del autor. ^[49] Por ejemplo, consideremos la palabra inglesa big . Cuando se usa en una comparación ("Ese es un árbol grande"), la intención del autor es dar a entender que el árbol es físicamente grande en relación con otros árboles o con la experiencia del autor. Cuando se usa metafóricamente ("Mañana es un gran día"), la intención del autor es dar a entender importancia . La intención detrás de otros usos, como en "Ella es una gran persona", seguirá siendo algo ambigua tanto para una persona como para un algoritmo cognitivo de PNL sin información adicional.
2. Asignar medidas relativas de significado a una palabra, frase, oración o fragmento de texto basándose en la información presentada antes y después del fragmento de texto que se analiza, por ejemplo, mediante una gramática probabilística libre de contexto (PCFG). La ecuación matemática para tales algoritmos se presenta en la patente estadounidense 9269353: ^[50]

${\displaystyle {RMM(token_{N})}={PMM(token_{N})}\times {\frac {1}{2d}}\left(\sum _{i=-d}^{d}{((PMM(token_{N})}\times {PF(token_{N-i},token_{N},token_{N+i}))_{i}}\right)}$

Dónde

RMM es la medida relativa del significado.

token es cualquier bloque de texto, oración, frase o palabra

N es el número de tokens que se analizan

PMM es la medida probable de significado basada en un corpus

d es la ubicación distinta de cero del token a lo largo de la secuencia de N tokens

PF es la función de probabilidad específica de un idioma.

Los vínculos con la lingüística cognitiva son parte de la herencia histórica de la PNL, pero se han abordado con menos frecuencia desde el giro estadístico de los años noventa. Sin embargo, se han seguido enfoques para desarrollar modelos cognitivos hacia marcos técnicamente operacionalizables en el contexto de varios marcos, por ejemplo, de gramática cognitiva, ^[51] gramática funcional, ^[52] gramática de construcción, ^[53] psicolingüística computacional y neurociencia cognitiva (por ejemplo, ACT-R ), sin embargo, con una aceptación limitada en la PNL convencional (medida por la presencia en las principales conferencias ^[54] de la ACL ). Más recientemente, las ideas de PNL cognitiva han resurgido como un enfoque para lograr explicabilidad , por ejemplo, bajo la noción de "IA cognitiva". ^[55] Del mismo modo, las ideas de PNL cognitiva son inherentes a los modelos neuronales de PNL multimodal (aunque rara vez se hacen explícitos) ^[56] y a los desarrollos en inteligencia artificial , específicamente herramientas y tecnologías que utilizan enfoques de modelos de lenguaje grandes ^[57] y nuevas direcciones en inteligencia artificial general. basado en el principio de energía libre ^[58] por el neurocientífico y teórico británico del University College London Karl J. Friston .

Ver también

• 1 el camino
• Software de detección de inteligencia artificial
• Puntuación de ensayos automatizada
• Minería de textos biomédicos
• Procesamiento de términos compuestos
• Ligüística computacional
• Revisión asistida por computadora
• Lenguaje natural controlado
• Aprendizaje profundo
• Procesamiento lingüístico profundo
• Semántica distributiva
• Ayuda para la lectura en idiomas extranjeros
• Ayuda para la escritura en lenguas extranjeras
• Extracción de información
• Recuperación de información
• Tecnologías del lenguaje y la comunicación
• modelo de lenguaje
• Tecnología del lenguaje
• Indexación semántica latente
• Sistema multiagente
• Identificación de lengua materna
• Programación en lenguaje natural
• Comprensión del lenguaje natural
• Búsqueda en lenguaje natural
• Esquema del procesamiento del lenguaje natural
• Expansión de consultas
• Comprensión de consultas
• Cosificación (lingüística)
• Procesamiento del habla
• Sistemas de diálogo hablado.
• Prueba de texto
• Simplificación de texto
• Transformador (modelo de aprendizaje automático)
• Truecasing
• Respuesta a preguntas
• palabra2vec

Referencias

1. "PNL".
2. Hutchins, J. (2005). "La historia de la traducción automática en pocas palabras" (PDF) .^{[ fuente autoeditada ]}
3. "ALPAC: el (in)fame informe", John Hutchins, MT News International, no. 14, junio de 1996, págs. 9-12.
4. Crevier 1993, págs. 146-148 , véase también Buchanan 2005, pág. 56 : "Los primeros programas tenían necesariamente un alcance limitado por el tamaño y la velocidad de la memoria"Error de harvnb: sin destino: CITEREFCrevier1993 ( ayuda )Error de harvnb: sin destino: CITEREFBuchanan2005 ( ayuda )
5. Koskenniemi, Kimmo (1983), Morfología de dos niveles: un modelo computacional general de reconocimiento y producción de formas de palabras (PDF) , Departamento de Lingüística General, Universidad de Helsinki
6. Joshi, AK y Weinstein, S. (agosto de 1981). Control de la inferencia: papel de algunos aspectos del centrado en la estructura del discurso. En IJCAI (págs. 385–387).
7. Guida, G.; Mauri, G. (julio de 1986). "Evaluación de sistemas de procesamiento del lenguaje natural: cuestiones y enfoques". Actas del IEEE . 74 (7): 1026-1035. doi :10.1109/PROC.1986.13580. ISSN  1558-2256. S2CID  30688575.
8. La lingüística chomskyana fomenta la investigación de " casos extremos " que enfatizan los límites de sus modelos teóricos (comparables a los fenómenos patológicos en matemáticas), típicamente creados mediante experimentos mentales , en lugar de la investigación sistemática de fenómenos típicos que ocurren en datos del mundo real. como es el caso de la lingüística de corpus . La creación y el uso de dichos corpus de datos del mundo real es una parte fundamental de los algoritmos de aprendizaje automático para el procesamiento del lenguaje natural. Además, los fundamentos teóricos de la lingüística chomskyana, como el argumento de la llamada " pobreza del estímulo ", implican que los algoritmos de aprendizaje general, como se utilizan normalmente en el aprendizaje automático, no pueden tener éxito en el procesamiento del lenguaje. Como resultado, el paradigma chomskyano desalentó la aplicación de tales modelos al procesamiento del lenguaje.
9. Bengio, Yoshua; Ducharme, Réjean; Vicente, Pascal; Janvin, Christian (1 de marzo de 2003). "Un modelo de lenguaje probabilístico neuronal". La revista de investigación sobre aprendizaje automático . 3 : 1137–1155 - vía Biblioteca digital ACM.
10. Mikolov, Tomáš; Karafiát, Martín; Burget, Lukáš; Černocký, Jan; Khudanpur, Sanjeev (26 de septiembre de 2010). "Modelo de lenguaje basado en redes neuronales recurrentes" (PDF) . Entre discursos 2010 . págs. 1045-1048. doi : 10.21437/Interspeech.2010-343. S2CID  17048224. {{cite book}}: |journal=ignorado ( ayuda )
11. Goldberg, Yoav (2016). "Introducción a los modelos de redes neuronales para el procesamiento del lenguaje natural". Revista de investigación en inteligencia artificial . 57 : 345–420. arXiv : 1807.10854 . doi :10.1613/jair.4992. S2CID  8273530.
12. Buen compañero, Ian; Bengio, Yoshua; Courville, Aarón (2016). Aprendizaje profundo. Prensa del MIT.
13. Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). Explorando los límites del modelado del lenguaje . arXiv : 1602.02410 . Código Bib : 2016arXiv160202410J.
14. Choe, Do Kook; Charniak, Eugenio. "Análisis como modelado del lenguaje". Emlp 2016 . Archivado desde el original el 23 de octubre de 2018 . Consultado el 22 de octubre de 2018 .
15. Vinyals, Oriol; et al. (2014). «Gramática como lengua extranjera» (PDF) . Nips2015 . arXiv : 1412.7449 . Código Bib : 2014arXiv1412.7449V.
16. Turchin, Alejandro; Florez Builes, Luisa F. (2021-03-19). "Uso del procesamiento del lenguaje natural para medir y mejorar la calidad de la atención de la diabetes: una revisión sistemática". Revista de ciencia y tecnología de la diabetes . 15 (3): 553–560. doi :10.1177/19322968211000831. ISSN  1932-2968. PMC 8120048 . PMID  33736486. 
17. Lee, Jennifer; Yang, Samuel; Holland-Hall, Cynthia; Sezgin, Emre; Gill, Manjot; Linwood, Simón; Huang, Yungui; Hoffman, Jeffrey (10 de junio de 2022). "Prevalencia de términos sensibles en notas clínicas utilizando técnicas de procesamiento del lenguaje natural: estudio observacional". JMIR Informática Médica . 10 (6): e38482. doi : 10.2196/38482 . ISSN  2291-9694. PMC 9233261 . PMID  35687381. 
18. Winogrado, Terry (1971). Procedimientos como representación de datos en un programa informático para la comprensión del lenguaje natural (Tesis).
19. Schank, Roger C.; Abelson, Robert P. (1977). Guiones, planes, metas y comprensión: una investigación sobre las estructuras del conocimiento humano . Hillsdale: Erlbaum. ISBN 0-470-99033-3.
20. Mark Johnson. Cómo la revolución estadística cambia la lingüística (computacional). Actas del taller EACL 2009 sobre la interacción entre lingüística y lingüística computacional.
21. Philip Resnik. Cuatro revoluciones. Registro de idiomas, 5 de febrero de 2011.
22. Socher, Richard. "Tutorial de aprendizaje profundo para NLP-ACL 2012". www.socher.org . Consultado el 17 de agosto de 2020 .Este fue uno de los primeros tutoriales de aprendizaje profundo en la ACL 2012 y generó interés y (en ese momento) escepticismo por parte de la mayoría de los participantes. Hasta entonces, el aprendizaje neuronal era básicamente rechazado por su falta de interpretabilidad estadística. Hasta 2015, el aprendizaje profundo se había convertido en el marco principal de la PNL. [El enlace está roto, pruebe http://web.stanford.edu/class/cs224n/]
23. Yi, Chucai; Tian, ​​Yingli (2012), "Lectura asistida de textos de antecedentes complejos para personas ciegas", Análisis y reconocimiento de documentos basados ​​en cámaras , Apuntes de conferencias sobre informática, Springer Berlin Heidelberg, vol. 7139, págs. 15–28, CiteSeerX 10.1.1.668.869 , doi :10.1007/978-3-642-29364-1_2, ISBN  9783642293634
24. "¿Qué es el procesamiento del lenguaje natural? Introducción a la PNL en el aprendizaje automático". ¡GyanSetu! . 2020-12-06 . Consultado el 9 de enero de 2021 .
25. Kishorjit, N.; Vidya, Raj RK.; Nirmal, Y.; Sivaji, B. (2012). "Identificación del morfema de Manipuri" (PDF) . Actas del tercer taller sobre procesamiento del lenguaje natural del sur y sudeste asiático (SANLP) . COLING 2012, Mumbai, diciembre de 2012: 95–108.{{cite journal}}: Mantenimiento CS1: ubicación ( enlace )
26. Klein, Dan; Manning, Christopher D. (2002). "Inducción de gramática del lenguaje natural utilizando un modelo de contexto constituyente" (PDF) . Avances en los sistemas de procesamiento de información neuronal .
27. Kariampuzha, William; Alyea, Gioconda; Qu, Sue; Sanjak, Jaleal; Mathé, Ewy; Sid, Eric; Chatelaine, Haley; Yadaw, Arjun; Xu, Yanji; Zhu, Qian (2023). "Extracción de información de precisión para la epidemiología de enfermedades raras a escala". Revista de medicina traslacional . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634 . PMID  36855134. 
28. PASCAL Reconociendo el desafío de vinculación textual (RTE-7) https://tac.nist.gov//2011/RTE/
29. Lippi, Marco; Torroni, Paolo (20 de abril de 2016). "Minería de argumentación: estado del arte y tendencias emergentes". Transacciones ACM sobre tecnología de Internet . 16 (2): 1–25. doi :10.1145/2850417. hdl : 11585/523460 . ISSN  1533-5399. S2CID  9561587.
30. "Minería de argumentos - Tutorial IJCAI2016". www.i3s.unice.fr . Consultado el 9 de marzo de 2021 .
31. "Enfoques de PNL para la argumentación computacional - ACL 2016, Berlín" . Consultado el 9 de marzo de 2021 .
32. Administración. "Centro de Tecnología del Lenguaje (CLT)". Universidad Macquarie . Consultado el 11 de enero de 2021 .
33. "Tarea compartida: corrección de errores gramaticales". www.comp.nus.edu.sg.​ Consultado el 11 de enero de 2021 .
34. "Tarea compartida: corrección de errores gramaticales". www.comp.nus.edu.sg.​ Consultado el 11 de enero de 2021 .
35. Duan, Yucong; Cruz, Christophe (2011). "Formalización de la semántica del lenguaje natural mediante la conceptualización a partir de la existencia". Revista Internacional de Innovación, Gestión y Tecnología . 2 (1): 37–42. Archivado desde el original el 9 de octubre de 2011.
36. "UBUWEB :: Racter". www.ubu.com . Consultado el 17 de agosto de 2020 .
37. Escritor, Beta (2019). Baterías de iones de litio . doi :10.1007/978-3-030-16800-1. ISBN 978-3-030-16799-8. S2CID  155818532.
38. "Documento sobre la inteligencia artificial en Google Cloud (Cloud Next '19) - YouTube". www.youtube.com . Archivado desde el original el 30 de octubre de 2021 . Consultado el 11 de enero de 2021 .
39. Robertson, Adi (6 de abril de 2022). "El generador de imágenes DALL-E AI de OpenAI ahora también puede editar imágenes". El borde . Consultado el 7 de junio de 2022 .
40. "El Grupo de Procesamiento del Lenguaje Natural de Stanford". nlp.stanford.edu . Consultado el 7 de junio de 2022 .
41. Coyne, Bob; Sproat, Richard (1 de agosto de 2001). "PalabrasOjo". Actas de la 28ª conferencia anual sobre gráficos por computadora y técnicas interactivas . SIGGRAFO '01. Nueva York, NY, EE.UU.: Asociación de Maquinaria de Computación. págs. 487–496. doi :10.1145/383259.383316. ISBN 978-1-58113-374-5. S2CID  3842372.
42. "Google anuncia avances en inteligencia artificial en conversión de texto a video, traducción de idiomas y más". VentureBeat . 2022-11-02 . Consultado el 9 de noviembre de 2022 .
43. Vicente, James (29 de septiembre de 2022). "El nuevo generador de IA de texto a video de Meta es como DALL-E para video". El borde . Consultado el 9 de noviembre de 2022 .
44. "Tareas compartidas anteriores | CoNLL". www.conll.org . Consultado el 11 de enero de 2021 .
45. "Cognición". Léxico . Prensa de la Universidad de Oxford y Dictionary.com . Archivado desde el original el 15 de julio de 2020 . Consultado el 6 de mayo de 2020 .
46. "Pregúntele al científico cognitivo". Federación Estadounidense de Maestros . 8 de agosto de 2014. La ciencia cognitiva es un campo interdisciplinario de investigadores de lingüística, psicología, neurociencia, filosofía, informática y antropología que buscan comprender la mente.
47. Robinson, Peter (2008). Manual de lingüística cognitiva y adquisición de segundas lenguas . Rutledge. págs. 3–8. ISBN 978-0-805-85352-0.
48. Lakoff, George (1999). Filosofía encarnada: la mente encarnada y su desafío a la filosofía occidental; Apéndice: La teoría neuronal del paradigma del lenguaje . Libros básicos de Nueva York. págs. 569–583. ISBN 978-0-465-05674-3.
49. Strauss, Claudia (1999). Una teoría cognitiva del significado cultural . Prensa de la Universidad de Cambridge. págs. 156-164. ISBN 978-0-521-59541-4.
50. Patente estadounidense 9269353 
51. "Anotación cognitiva conceptual universal (UCCA)". Anotación Cognitiva Conceptual Universal (UCCA) . Consultado el 11 de enero de 2021 .
52. Rodríguez, FC y Mairal-Usón, R. (2016). Construyendo una gramática computacional RRG. Onomazeína , (34), 86-117.
53. "Gramática de construcción fluida: un sistema de procesamiento totalmente operativo para gramáticas de construcción" . Consultado el 11 de enero de 2021 .
54. "Portal para miembros de ACL | Portal para miembros de la Asociación de Lingüística Computacional". www.aclweb.org . Consultado el 11 de enero de 2021 .
55. "Trozos y reglas". W3C . Consultado el 11 de enero de 2021 .
56. Socher, Richard; Karpathy, Andrej; Le, Quoc V.; Manning, Christopher D.; Ng, Andrew Y. (2014). "Semántica compositiva fundamentada para buscar y describir imágenes con oraciones". Transacciones de la Asociación de Lingüística Computacional . 2 : 207–218. doi : 10.1162/tacl_a_00177 . S2CID  2317858.
57. Dasgupta, Ishita; Lampinen, Andrew K.; Chan, Stephanie CY; Creswell, Antonia; Kumaran, Dharshan; McClelland, James L.; Colina, Félix (2022). "Los modelos de lenguaje muestran efectos de contenido similares a los humanos en el razonamiento, Dasgupta, Lampinen et al". arXiv : 2207.07051 [cs.CL].
58. Friston, Karl J. (2022). Inferencia activa: el principio de la energía libre en la mente, el cerebro y el comportamiento; Capítulo 4 Los modelos generativos de inferencia activa . La prensa del MIT. ISBN 978-0-262-36997-8.

Otras lecturas

• Bates, M (1995). "Modelos de comprensión del lenguaje natural". Actas de la Academia Nacional de Ciencias de los Estados Unidos de América . 92 (22): 9977–9982. Código bibliográfico : 1995PNAS...92.9977B. doi : 10.1073/pnas.92.22.9977 . PMC  40721 . PMID  7479812.
• Steven Bird, Ewan Klein y Edward Loper (2009). Procesamiento del lenguaje natural con Python . Medios O'Reilly. ISBN 978-0-596-51649-9 . 
• Kenna Hughes-Castleberry, "Un misterio de asesinato: el rompecabezas literario Cain's Jawbone , que ha dejado perplejos a los humanos durante décadas, revela las limitaciones de los algoritmos de procesamiento del lenguaje natural", Scientific American , vol. 329, núm. 4 (noviembre de 2023), págs. 81–82. "Este concurso de misterio y asesinato ha revelado que, aunque los modelos de PNL ( procesamiento del lenguaje natural ) son capaces de realizar hazañas increíbles, sus capacidades están muy limitadas por la cantidad de contexto que reciben. Esto [...] podría causar [dificultades] a los investigadores que esperan usarlos para hacer cosas como analizar lenguas antiguas . En algunos casos, hay pocos registros históricos sobre civilizaciones desaparecidas hace mucho tiempo que sirvan como datos de entrenamiento para tal propósito". (pág. 82.)
• Daniel Jurafsky y James H. Martin (2008). Procesamiento del habla y el lenguaje , 2ª edición. Pearson-Prentice Hall. ISBN 978-0-13-187321-6 . 
• Mohamed Zakaria Kurdi (2016). Procesamiento del lenguaje natural y lingüística computacional: habla, morfología y sintaxis , volumen 1. ISTE-Wiley. ISBN 978-1848218482 . 
• Mohamed Zakaria Kurdi (2017). Procesamiento del lenguaje natural y lingüística computacional: semántica, discurso y aplicaciones , volumen 2. ISTE-Wiley. ISBN 978-1848219212 . 
• Christopher D. Manning, Prabhakar Raghavan y Hinrich Schütze (2008). Introducción a la recuperación de información . Prensa de la Universidad de Cambridge. ISBN 978-0-521-86571-5 . Versiones oficiales en html y pdf disponibles sin cargo. 
• Christopher D. Manning y Hinrich Schütze (1999). Fundamentos del procesamiento estadístico del lenguaje natural . La prensa del MIT. ISBN 978-0-262-13360-9 . 
• David MW Powers y Christopher CR Turk (1989). Aprendizaje automático del lenguaje natural . Springer-Verlag. ISBN 978-0-387-19557-5 . 

enlaces externos

• Medios relacionados con el procesamiento del lenguaje natural en Wikimedia Commons