La desambiguación del sentido de la palabra ( WSD ) es el proceso de identificar qué sentido de una palabra se entiende en una oración u otro segmento del contexto . En el procesamiento y la cognición del lenguaje humano , suele ser subconsciente/automático, pero a menudo puede llamar la atención consciente cuando la ambigüedad afecta la claridad de la comunicación, dada la polisemia generalizada en el lenguaje natural . En lingüística computacional , es un problema abierto que afecta a otros escritos relacionados con la computadora, como el discurso , la mejora de la relevancia de los motores de búsqueda , la resolución de anáforas , la coherencia y la inferencia .
Dado que el lenguaje natural requiere un reflejo de la realidad neurológica, moldeada por las capacidades proporcionadas por las redes neuronales del cerebro , la informática ha tenido un desafío a largo plazo en el desarrollo de la capacidad de las computadoras para realizar procesamiento del lenguaje natural y aprendizaje automático .
Se han investigado muchas técnicas, incluidos métodos basados en diccionarios que utilizan el conocimiento codificado en recursos léxicos, métodos de aprendizaje automático supervisados en los que se entrena un clasificador para cada palabra distinta en un corpus de ejemplos anotados manualmente y métodos completamente no supervisados que agrupan ocurrencia de palabras, induciendo así sentidos de las palabras. Entre ellos, los enfoques de aprendizaje supervisado han sido los algoritmos más exitosos hasta la fecha.
Es difícil afirmar la precisión de los algoritmos actuales sin una serie de advertencias. En inglés, la precisión en el nivel de grano grueso ( homógrafo ) es habitualmente superior al 90% (a partir de 2009), y algunos métodos en homógrafos particulares alcanzan más del 96%. En distinciones de sentidos más detalladas, se han reportado precisiones máximas del 59,1% al 69,0% en ejercicios de evaluación (SemEval-2007, Senseval-2), donde la precisión inicial del algoritmo más simple posible de elegir siempre el sentido más frecuente fue del 51,4%. y 57%, respectivamente.
La desambiguación requiere dos entradas estrictas: un diccionario para especificar los sentidos que se van a desambiguar y un corpus de datos lingüísticos que se van a desambiguar (en algunos métodos, también se requiere un corpus de entrenamiento de ejemplos lingüísticos). La tarea WSD tiene dos variantes: "muestra léxica" (desambiguación de las apariciones de una pequeña muestra de palabras objetivo que fueron previamente seleccionadas) y tarea "todas las palabras" (desambiguación de todas las palabras en un texto continuo). La tarea "Todas las palabras" generalmente se considera una forma más realista de evaluación, pero el corpus es más costoso de producir porque los anotadores humanos tienen que leer las definiciones de cada palabra en la secuencia cada vez que necesitan emitir un juicio de etiquetado, en lugar de una vez. para un bloque de instancias para la misma palabra de destino.
WSD se formuló por primera vez como una tarea computacional distinta durante los primeros días de la traducción automática en la década de 1940, lo que lo convierte en uno de los problemas más antiguos de la lingüística computacional. Warren Weaver introdujo por primera vez el problema en un contexto computacional en su memorando sobre traducción de 1949. [1] Más tarde, Bar-Hillel (1960) argumentó [2] que WSD no podía resolverse mediante una "computadora electrónica" debido a la necesidad en general de modelar todo el conocimiento mundial.
En la década de 1970, WSD era una subtarea de los sistemas de interpretación semántica desarrollados dentro del campo de la inteligencia artificial, comenzando con la semántica de preferencias de Wilks . Sin embargo, dado que en aquel momento los sistemas WSD estaban basados en gran medida en reglas y codificados a mano, eran propensos a sufrir un cuello de botella en la adquisición de conocimientos.
En la década de 1980, estuvieron disponibles recursos léxicos a gran escala, como el Oxford Advanced Learner's Dictionary of Current English (OALD): la codificación manual fue reemplazada por conocimiento extraído automáticamente de estos recursos, pero la desambiguación todavía se basaba en el conocimiento o en el diccionario. .
En la década de 1990, la revolución estadística avanzó en la lingüística computacional y WSD se convirtió en un problema paradigmático al que aplicar técnicas de aprendizaje automático supervisado.
En la década de 2000, las técnicas supervisadas alcanzaron un nivel de precisión, por lo que la atención se desplazó hacia los sentidos más generales, la adaptación de dominios , los sistemas basados en corpus semisupervisados y no supervisados, las combinaciones de diferentes métodos y el retorno de los sistemas basados en el conocimiento a través de gráficos. -Métodos basados en. Aun así, los sistemas supervisados siguen funcionando mejor.
Un problema con la desambiguación del sentido de las palabras es decidir cuáles son los sentidos, ya que diferentes diccionarios y tesauros proporcionarán diferentes divisiones de las palabras en sentidos. Algunos investigadores han sugerido elegir un diccionario en particular y utilizar su conjunto de sentidos para abordar este problema. Sin embargo, en general, los resultados de las investigaciones que utilizan distinciones amplias en los sentidos han sido mucho mejores que los que utilizan distinciones estrechas. [3] [4] La mayoría de los investigadores continúan trabajando en WSD de grano fino .
La mayor parte de la investigación en el campo de WSD se realiza utilizando WordNet como inventario sensorial de referencia para el inglés. WordNet es un léxico computacional que codifica conceptos como conjuntos de sinónimos (por ejemplo, el concepto de automóvil está codificado como {automóvil, automóvil, máquina, automóvil}). Otros recursos utilizados con fines de desambiguación incluyen el Tesauro de Roget [5] y Wikipedia . [6] Más recientemente, BabelNet , un diccionario enciclopédico multilingüe, se ha utilizado para WSD multilingüe. [7]
En cualquier prueba real, se ha demostrado que el etiquetado de parte del discurso y el etiquetado de sentido están muy estrechamente relacionados, y cada uno de ellos puede imponer restricciones al otro. La cuestión de si estas tareas deben mantenerse juntas o desacopladas todavía no está resuelta unánimemente, pero últimamente los científicos se inclinan por probarlas por separado (por ejemplo, en los concursos Senseval/ SemEval se proporcionan partes del discurso como entrada para eliminar la ambigüedad del texto).
Tanto el WSD como el etiquetado de parte del discurso implican eliminar la ambigüedad o etiquetar con palabras. Sin embargo, los algoritmos utilizados para uno no tienden a funcionar bien para el otro, principalmente porque la parte gramatical de una palabra está determinada principalmente por una o tres palabras inmediatamente adyacentes, mientras que el sentido de una palabra puede estar determinado por palabras más alejadas. . La tasa de éxito de los algoritmos de etiquetado de partes del discurso es actualmente mucho más alta que la de WSD, y el estado del arte tiene una precisión de alrededor del 96% [8] o mejor, en comparación con menos del 75% [ cita necesaria ] en el sentido de la palabra desambiguación con aprendizaje supervisado . Estas cifras son típicas del inglés y pueden ser muy diferentes de las de otros idiomas.
Otro problema es la variación entre jueces . Los sistemas WSD normalmente se prueban comparando los resultados de una tarea con los de un humano. Sin embargo, si bien es relativamente fácil asignar partes del discurso al texto, se ha demostrado que capacitar a las personas para etiquetar los sentidos es mucho más difícil. [9] Si bien los usuarios pueden memorizar todas las posibles partes del discurso que puede adoptar una palabra, a menudo es imposible para las personas memorizar todos los sentidos que puede adoptar una palabra. Además, los humanos no se ponen de acuerdo sobre la tarea que tienen entre manos: dar una lista de sentidos y oraciones, y los humanos no siempre estarán de acuerdo sobre qué palabra pertenece a qué sentido. [10]
Dado que el desempeño humano sirve como estándar, es un límite superior para el desempeño de la computadora. Sin embargo, el desempeño humano es mucho mejor en distinciones de grano grueso que en distinciones de grano fino , por lo que nuevamente esta es la razón por la que la investigación sobre distinciones de grano grueso [11] [12] se ha puesto a prueba en ejercicios recientes de evaluación de WSD. [3] [4]
Un inventario de sentidos independiente de la tarea no es un concepto coherente: [13] cada tarea requiere su propia división del significado de las palabras en sentidos relevantes para la tarea. Además, diferentes aplicaciones pueden requerir algoritmos completamente diferentes. En la traducción automática, el problema toma la forma de selección de la palabra objetivo. Los "sentidos" son palabras en el idioma de destino, que a menudo corresponden a distinciones significativas de significado en el idioma de origen ("banco" podría traducirse al francés banque , es decir, "banco financiero" o rive , es decir, "borde del río"). '). En la recuperación de información no necesariamente se requiere un inventario de sentidos, pues basta con saber que una palabra se utiliza en el mismo sentido en la consulta y en un documento recuperado; el sentido que tenga eso no tiene importancia.
Finalmente, la noción misma de " sentido de la palabra " es resbaladiza y controvertida. La mayoría de las personas pueden estar de acuerdo en distinciones en el nivel homógrafo de grano grueso (p. ej., bolígrafo como instrumento de escritura o recinto), pero bajan un nivel hasta la polisemia de grano fino y surgen desacuerdos. Por ejemplo, en Senseval-2, que utilizó distinciones de sentido detalladas, los anotadores humanos coincidieron en sólo el 85% de las apariciones de palabras. [14] El significado de las palabras es, en principio, infinitamente variable y sensible al contexto. No se divide fácilmente en subsignificados distintos o discretos. [15] Los lexicógrafos descubren con frecuencia en los corpus significados de palabras sueltos y superpuestos, y significados estándar o convencionales ampliados, modulados y explotados en una desconcertante variedad de formas. El arte de la lexicografía consiste en generalizar desde el corpus hasta definiciones que evocan y explican toda la gama de significados de una palabra, haciendo que parezca que las palabras se comportan bien semánticamente. Sin embargo, no está del todo claro si estas mismas distinciones de significado son aplicables en aplicaciones computacionales , ya que las decisiones de los lexicógrafos suelen estar impulsadas por otras consideraciones. En 2009, se propuso una tarea, denominada sustitución léxica , como posible solución al problema de la discreción sensorial. [16] La tarea consiste en proporcionar un sustituto para una palabra en un contexto que preserve el significado de la palabra original (potencialmente, los sustitutos se pueden elegir del léxico completo de la lengua de destino, superando así la discreción).
Hay dos enfoques principales para WSD: enfoques profundos y enfoques superficiales.
Los enfoques profundos suponen el acceso a un cuerpo integral de conocimiento mundial . Por lo general, estos enfoques no se consideran muy exitosos en la práctica, principalmente porque ese conjunto de conocimientos no existe en un formato legible por computadora, fuera de dominios muy limitados. [17] Además, debido a la larga tradición en lingüística computacional , de probar tales enfoques en términos de conocimiento codificado y, en algunos casos, puede ser difícil distinguir entre el conocimiento involucrado en el conocimiento lingüístico o mundial. El primer intento fue el de Margaret Masterman y sus colegas, en la Unidad de Investigación del Idioma de Cambridge, Inglaterra, en los años cincuenta. Este intento utilizó como datos una versión en tarjeta perforada del Tesauro de Roget y sus "cabezas" numeradas, como indicador de temas y buscó repeticiones en el texto, utilizando un algoritmo de intersección establecido. No tuvo mucho éxito, [18] pero tenía fuertes relaciones con trabajos posteriores, especialmente la optimización del aprendizaje automático de un método de diccionario de sinónimos de Yarowsky en la década de 1990.
Los enfoques superficiales no intentan comprender el texto, sino que consideran las palabras que lo rodean. Estas reglas pueden ser derivadas automáticamente por la computadora, utilizando un corpus de entrenamiento de palabras etiquetadas con sus sentidos. Este enfoque, aunque teóricamente no es tan poderoso como los enfoques profundos, da resultados superiores en la práctica, debido al conocimiento limitado del mundo por parte de la computadora.
Hay cuatro enfoques convencionales para WSD:
Casi todos estos enfoques funcionan definiendo una ventana de n palabras de contenido alrededor de cada palabra para eliminar la ambigüedad en el corpus y analizando estadísticamente esas n palabras circundantes. Dos enfoques superficiales que se utilizan para entrenar y luego eliminar la ambigüedad son los clasificadores Naïve Bayes y los árboles de decisión . En investigaciones recientes, los métodos basados en kernel, como las máquinas de vectores de soporte, han mostrado un rendimiento superior en el aprendizaje supervisado . Los enfoques basados en gráficos también han ganado mucha atención por parte de la comunidad investigadora y actualmente logran un rendimiento cercano al estado del arte.
El algoritmo de Lesk [19] es el método fundamental basado en diccionarios. Se basa en la hipótesis de que las palabras utilizadas juntas en el texto están relacionadas entre sí y que la relación se puede observar en las definiciones de las palabras y sus sentidos. Se eliminan la ambigüedad de dos (o más) palabras encontrando el par de sentidos del diccionario con la mayor superposición de palabras en sus definiciones de diccionario. Por ejemplo, al eliminar la ambigüedad de las palabras en "piña", las definiciones de los sentidos apropiados incluyen las palabras árbol de hoja perenne y árbol (al menos en un diccionario). Un enfoque similar [20] busca el camino más corto entre dos palabras: la segunda palabra se busca iterativamente entre las definiciones de cada variante semántica de la primera palabra, luego entre las definiciones de cada variante semántica de cada palabra en las definiciones anteriores y así en. Finalmente, la primera palabra se desambigua seleccionando la variante semántica que minimiza la distancia entre la primera y la segunda palabra.
Una alternativa al uso de las definiciones es considerar la relación general entre palabras y sentidos y calcular la similitud semántica de cada par de sentidos de palabras basándose en una base de conocimientos léxicos determinada, como WordNet . Se han aplicado con cierto éxito métodos basados en gráficos que recuerdan a la difundida investigación sobre activación de los primeros días de la investigación en IA. Se ha demostrado que los enfoques basados en gráficos más complejos funcionan casi tan bien como los métodos supervisados [21] o incluso los superan en dominios específicos. [3] [22] Recientemente, se ha informado que medidas simples de conectividad de gráficos , como el grado , realizan WSD de última generación en presencia de una base de conocimiento léxico suficientemente rica. [23] Además, se ha demostrado que la transferencia automática de conocimiento en forma de relaciones semánticas de Wikipedia a WordNet impulsa métodos simples basados en el conocimiento, permitiéndoles rivalizar con los mejores sistemas supervisados e incluso superarlos en un entorno de dominio específico. [24]
El uso de preferencias de selección (o restricciones de selección) también es útil; por ejemplo, sabiendo que normalmente se cocina comida, se puede eliminar la ambigüedad de la palabra bajo en "Estoy cocinando bajos" (es decir, no es un instrumento musical).
Los métodos supervisados se basan en el supuesto de que el contexto puede proporcionar suficiente evidencia por sí solo para eliminar la ambigüedad de las palabras (por lo tanto, el sentido común y el razonamiento se consideran innecesarios). Probablemente todos los algoritmos de aprendizaje automático existentes se hayan aplicado a WSD, incluidas técnicas asociadas como la selección de características , la optimización de parámetros y el aprendizaje conjunto . Se ha demostrado que las máquinas de vectores de soporte y el aprendizaje basado en la memoria son los enfoques más exitosos hasta la fecha, probablemente porque pueden hacer frente a la alta dimensionalidad del espacio de características. Sin embargo, estos métodos supervisados están sujetos a un nuevo cuello de botella en la adquisición de conocimientos, ya que dependen de cantidades sustanciales de corpus etiquetados manualmente para la capacitación, cuya creación es laboriosa y costosa.
Debido a la falta de datos de entrenamiento, muchos algoritmos de desambiguación del sentido de las palabras utilizan aprendizaje semisupervisado , que permite datos tanto etiquetados como no etiquetados. El algoritmo de Yarowsky fue un ejemplo temprano de tal algoritmo. [25] Utiliza las propiedades 'Un sentido por colocación' y 'Un sentido por discurso' de los lenguajes humanos para la desambiguación del sentido de las palabras. Según la observación, las palabras tienden a exhibir un solo sentido en la mayoría de los discursos y en una colocación determinada. [26]
El enfoque de arranque comienza a partir de una pequeña cantidad de datos iniciales para cada palabra: ya sea ejemplos de entrenamiento etiquetados manualmente o una pequeña cantidad de reglas de decisión seguras (por ejemplo, "tocar" en el contexto de "bajo" casi siempre indica el instrumento musical). Las semillas se utilizan para entrenar un clasificador inicial , utilizando cualquier método supervisado. Luego, este clasificador se utiliza en la parte no etiquetada del corpus para extraer un conjunto de entrenamiento más grande, en el que solo se incluyen las clasificaciones más confiables. El proceso se repite, cada nuevo clasificador se entrena en un corpus de entrenamiento sucesivamente mayor, hasta que se consume todo el corpus o hasta que se alcanza un número máximo determinado de iteraciones.
Otras técnicas semisupervisadas utilizan grandes cantidades de corpus sin etiquetar para proporcionar información de coocurrencia que complementa los corpus etiquetados. Estas técnicas tienen el potencial de ayudar en la adaptación de modelos supervisados a diferentes dominios.
Además, una palabra ambigua en un idioma a menudo se traduce a palabras diferentes en un segundo idioma dependiendo del sentido de la palabra. Se han utilizado corpus bilingües alineados con palabras para inferir distinciones de sentidos entre idiomas, una especie de sistema semisupervisado. [ cita necesaria ]
El aprendizaje no supervisado es el mayor desafío para los investigadores de WSD. La suposición subyacente es que sentidos similares ocurren en contextos similares y, por lo tanto, se pueden inducir sentidos a partir del texto agrupando ocurrencias de palabras usando alguna medida de similitud de contexto, [27] una tarea conocida como inducción o discriminación del sentido de la palabra . Luego, las nuevas apariciones de la palabra se pueden clasificar en los grupos/sentidos inducidos más cercanos. El rendimiento ha sido inferior al de los otros métodos descritos anteriormente, pero las comparaciones son difíciles ya que los sentidos inducidos deben asignarse a un diccionario conocido de sentidos de las palabras. Si no se desea un mapeo a un conjunto de sentidos del diccionario, se pueden realizar evaluaciones basadas en grupos (incluidas medidas de entropía y pureza). Alternativamente, los métodos de inducción del sentido de las palabras se pueden probar y comparar dentro de una aplicación. Por ejemplo, se ha demostrado que la inducción del sentido de las palabras mejora la agrupación de resultados de búsqueda en la Web al aumentar la calidad de los grupos de resultados y el grado de diversificación de las listas de resultados. [28] [29] Se espera que el aprendizaje no supervisado supere el cuello de botella en la adquisición de conocimientos porque no depende del esfuerzo manual.
Representar palabras considerando su contexto a través de vectores densos de tamaño fijo ( word incrustaciones ) se ha convertido en uno de los bloques más fundamentales en varios sistemas de PNL. [30] [31] [32] Aunque la mayoría de las técnicas tradicionales de incrustación de palabras combinan palabras con múltiples significados en una única representación vectorial, aún se pueden utilizar para mejorar WSD. [33] Un enfoque simple para emplear incrustaciones de palabras precalculadas para representar los sentidos de las palabras es calcular los centroides de los grupos de sentidos. [34] [35] Además de las técnicas de incrustación de palabras, las bases de datos léxicas (por ejemplo, WordNet , ConceptNet , BabelNet ) también pueden ayudar a los sistemas no supervisados a mapear palabras y sus sentidos como diccionarios. Algunas técnicas que combinan bases de datos léxicas e incrustaciones de palabras se presentan en AutoExtend [36] [37] y Most Suits Sense Annotation (MSSA). [38] En AutoExtend, [37] presentan un método que desacopla la representación de entrada de un objeto en sus propiedades, como palabras y sus sentidos. AutoExtend utiliza una estructura gráfica para asignar objetos de palabras (por ejemplo, texto) y sin palabras (por ejemplo, conjuntos sintéticos en WordNet ) como nodos y la relación entre nodos como bordes. Las relaciones (bordes) en AutoExtend pueden expresar la suma o similitud entre sus nodos. El primero captura la intuición detrás del cálculo de compensación, [30] mientras que el segundo define la similitud entre dos nodos. En MSSA, [38] un sistema de desambiguación no supervisado utiliza la similitud entre los sentidos de las palabras en una ventana de contexto fija para seleccionar el sentido de la palabra más adecuado utilizando un modelo de incrustación de palabras previamente entrenado y WordNet . Para cada ventana de contexto, MSSA calcula el centroide de cada definición de sentido de palabra promediando los vectores de palabras de sus palabras en las glosas de WordNet (es decir, glosa de definición breve y uno o más ejemplos de uso) utilizando un modelo de incrustación de palabras previamente entrenado. Estos centroides se utilizan posteriormente para seleccionar el sentido de la palabra con la mayor similitud de una palabra objetivo con sus vecinos inmediatamente adyacentes (es decir, palabras predecesoras y sucesoras). Una vez anotadas y desambiguadas todas las palabras, se pueden utilizar como corpus de entrenamiento en cualquier técnica estándar de incrustación de palabras. En su versión mejorada, MSSA puede utilizar incrustaciones de sentido de palabras para repetir su proceso de desambiguación de forma iterativa.
Otros enfoques pueden variar de manera diferente en sus métodos:
El cuello de botella en la adquisición de conocimientos es quizás el principal impedimento para resolver el problema de WSD. Los métodos no supervisados se basan en el conocimiento sobre el sentido de las palabras, que está escasamente formulado en diccionarios y bases de datos léxicas. Los métodos supervisados dependen crucialmente de la existencia de ejemplos anotados manualmente para cada sentido de la palabra, un requisito que hasta ahora puede [ ¿ cuándo? ] se cumplirá sólo para un puñado de palabras con fines de prueba, como se hace en los ejercicios de Senseval .
Una de las tendencias más prometedoras en la investigación de WSD es utilizar el corpus más grande jamás accesible, la World Wide Web , para adquirir información léxica automáticamente. [50] WSD se ha entendido tradicionalmente como una tecnología de ingeniería del lenguaje intermedio que podría mejorar aplicaciones como la recuperación de información (IR). En este caso, sin embargo, lo contrario también es cierto: los motores de búsqueda web implementan técnicas de IR simples y robustas que pueden extraer con éxito la Web en busca de información para usar en WSD. La histórica falta de datos de entrenamiento ha provocado la aparición de algunos algoritmos y técnicas nuevos, como se describe en Adquisición automática de corpus con etiquetas sensoriales .
El conocimiento es un componente fundamental del WSD. Las fuentes de conocimiento proporcionan datos que son esenciales para asociar los sentidos con las palabras. Pueden variar desde corpus de textos, ya sea sin etiquetar o anotados con sentidos de las palabras, hasta diccionarios, tesauros, glosarios, ontologías, etc. legibles por máquina. Pueden clasificarse [51] [52] de la siguiente manera:
Estructurado:
No estructurado:
Comparar y evaluar diferentes sistemas WSD es extremadamente difícil debido a los diferentes conjuntos de pruebas, inventarios de sensores y recursos de conocimiento adoptados. Antes de la organización de campañas de evaluación específicas, la mayoría de los sistemas se evaluaban con conjuntos de datos internos, a menudo de pequeña escala . Para probar el algoritmo, los desarrolladores deben dedicar su tiempo a anotar todas las apariciones de palabras. Y comparar métodos incluso en el mismo corpus no es elegible si existen diferentes inventarios de sentidos.
Para definir conjuntos de datos y procedimientos de evaluación comunes, se han organizado campañas de evaluación pública. Senseval (ahora rebautizado como SemEval ) es un concurso internacional de desambiguación del sentido de las palabras que se celebra cada tres años desde 1998: Senseval-1 (1998), Senseval-2 (2001), Senseval-3 (2004) y su sucesor, SemEval (2007). . El objetivo del concurso es organizar diferentes conferencias, preparar y anotar manualmente corpus para sistemas de prueba, realizar una evaluación comparativa de los sistemas WSD en varios tipos de tareas, incluidos WSD de todas palabras y muestras léxicas para diferentes idiomas y, más recientemente. , nuevas tareas como etiquetado de roles semánticos , glosa WSD, sustitución léxica , etc. Los sistemas presentados para evaluación en estos concursos suelen integrar diferentes técnicas y a menudo combinan métodos supervisados y basados en el conocimiento (especialmente para evitar un mal desempeño en falta de ejemplos de capacitación) .
En los últimos años, 2007-2012 , las opciones de tareas de evaluación de WSD han aumentado y el criterio para evaluar WSD ha cambiado drásticamente dependiendo de la variante de la tarea de evaluación de WSD. A continuación se enumera la variedad de tareas de WSD:
A medida que la tecnología evoluciona, las tareas de desambiguación del sentido de las palabras (WSD) crecen en diferentes formas hacia diversas direcciones de investigación y para más idiomas:
{{cite book}}: Mantenimiento CS1: falta el editor de la ubicación ( enlace )