El reconocimiento de entidades nombradas ( NER ) (también conocido como identificación de entidades (nombradas) , fragmentación de entidades y extracción de entidades ) es una subtarea de extracción de información que busca localizar y clasificar entidades nombradas mencionadas en texto no estructurado en categorías predefinidas, como persona. nombres, organizaciones, ubicaciones, códigos médicos , expresiones de tiempo, cantidades, valores monetarios, porcentajes, etc.
La mayoría de las investigaciones sobre sistemas NER/NEE se han estructurado tomando un bloque de texto sin anotaciones, como este:
Jim compró 300 acciones de Acme Corp. en 2006.
Y produciendo un bloque de texto anotado que resalta los nombres de las entidades:
[Jim] Person compró 300 acciones de la organización [Acme Corp.] en [2006] Time .
En este ejemplo, se ha detectado y clasificado un nombre de persona que consta de un token, un nombre de empresa de dos tokens y una expresión temporal.
Los sistemas NER de última generación para inglés producen un rendimiento casi humano. Por ejemplo, el mejor sistema que ingresó a MUC-7 obtuvo un 93,39 % de la medida F , mientras que los anotadores humanos obtuvieron un 97,60 % y un 96,95 %. [1] [2]
Las plataformas NER notables incluyen:
En la expresión denominada entidad , la palabra denominada restringe la tarea a aquellas entidades para las cuales una o varias cadenas, como palabras o frases, representan (bastante) consistentemente algún referente. Esto está estrechamente relacionado con los designadores rígidos , tal como los define Kripke , [5] [6] aunque en la práctica NER trata con muchos nombres y referentes que no son filosóficamente "rígidos". Por ejemplo, la empresa automotriz creada por Henry Ford en 1903 puede denominarse Ford o Ford Motor Company , aunque "Ford" también puede referirse a muchas otras entidades (ver Ford ). Los designadores rígidos incluyen nombres propios así como términos para ciertas especies y sustancias biológicas, [7] pero excluyen pronombres (como "ello"; ver resolución de correferencia ), descripciones que seleccionan un referente por sus propiedades (ver también De dicto y de re ), y nombres de tipos de cosas en lugar de individuos (por ejemplo, "Banco").
El reconocimiento completo de entidades nombradas a menudo se desglosa, conceptualmente y posiblemente también en las implementaciones, [8] como dos problemas distintos: detección de nombres y clasificación de los nombres por el tipo de entidad a la que se refieren (por ejemplo, persona, organización o ubicación). ). [9] La primera fase generalmente se simplifica a un problema de segmentación: los nombres se definen como tramos contiguos de tokens, sin anidamiento, de modo que "Bank of America" sea un nombre único, sin tener en cuenta el hecho de que dentro de este nombre, la subcadena "Estados Unidos" es en sí mismo un nombre. Este problema de segmentación es formalmente similar a la fragmentación . La segunda fase requiere elegir una ontología mediante la cual organizar categorías de cosas.
Las expresiones temporales y algunas expresiones numéricas (por ejemplo, dinero, porcentajes, etc.) también pueden considerarse entidades nombradas en el contexto de la tarea NER. Si bien algunos casos de este tipo son buenos ejemplos de designadores rígidos (por ejemplo, el año 2001), también hay muchos que no son válidos (por ejemplo, tomo mis vacaciones en “junio”). En el primer caso, el año 2001 se refiere al año 2001 del calendario gregoriano . En el segundo caso, el mes junio puede referirse al mes de un año indefinido ( junio pasado , junio próximo , cada junio , etc.). Es discutible que la definición de entidad nombrada se relaje en tales casos por razones prácticas. Por lo tanto, la definición del término entidad nombrada no es estricta y, a menudo, debe explicarse en el contexto en el que se utiliza. [10]
En la literatura se han propuesto ciertas jerarquías de tipos de entidades con nombre. Las categorías BBN , propuestas en 2002, se utilizan para responder preguntas y constan de 29 tipos y 64 subtipos. [11] La jerarquía ampliada de Sekine, propuesta en 2002, está compuesta por 200 subtipos. [12] Más recientemente, en 2011, Ritter utilizó una jerarquía basada en tipos de entidades comunes de Freebase en experimentos innovadores sobre NER sobre texto de redes sociales . [13]
Para evaluar la calidad del resultado de un sistema NER, se han definido varias medidas. Las medidas habituales se denominan precisión, recuperación y puntuación F1 . Sin embargo, persisten varias cuestiones sobre cómo calcular esos valores.
Estas medidas estadísticas funcionan razonablemente bien para los casos obvios de encontrar o perder exactamente una entidad real; y para encontrar una no entidad. Sin embargo, NER puede fallar de muchas otras maneras, muchas de las cuales son posiblemente "parcialmente correctas" y no deben considerarse como un éxito o un fracaso total. Por ejemplo, identificar una entidad real, pero:
Un método demasiado simple para medir la precisión es simplemente contar qué fracción de todos los tokens en el texto se identificaron correcta o incorrectamente como parte de referencias de entidades (o como entidades del tipo correcto). Esto sufre al menos dos problemas: primero, la gran mayoría de los tokens en el texto del mundo real no forman parte de los nombres de las entidades, por lo que la precisión básica (siempre predice "no es una entidad") es extravagantemente alta, típicamente >90%; y segundo, predecir erróneamente la extensión completa del nombre de una entidad no se penaliza adecuadamente (encontrar solo el nombre de una persona cuando le sigue su apellido podría calificarse como ½ de precisión).
En conferencias académicas como CoNLL, se ha definido una variante de la puntuación F1 de la siguiente manera: [9]
De la definición anterior se deduce que cualquier predicción que omita un solo token, incluya un token espurio o tenga la clase incorrecta, es un error grave y no contribuye positivamente ni a la precisión ni a la recuperación. Por lo tanto, se puede decir que esta medida es pesimista: puede darse el caso de que muchos "errores" estén cerca de ser correctos y podrían ser adecuados para un propósito determinado. Por ejemplo, un sistema siempre puede omitir títulos como "Sra." o "Ph.D.", pero compararse con un sistema o datos reales que esperan que se incluyan títulos. En ese caso, cada uno de esos nombres se trata como un error. Debido a estas cuestiones, es importante examinar los tipos de errores y decidir qué importancia tienen teniendo en cuenta los objetivos y requisitos de cada uno.
Se han propuesto modelos de evaluación basados en el emparejamiento token por token. [14] A estos modelos se les puede dar crédito parcial por coincidencias superpuestas (como el uso del criterio de Intersección sobre Unión ). Permiten una evaluación y comparación más detallada de los sistemas de extracción.
Se han creado sistemas NER que utilizan técnicas basadas en gramática lingüística , así como modelos estadísticos como el aprendizaje automático . Los sistemas basados en gramática hechos a mano generalmente obtienen una mayor precisión, pero a costa de una menor recuperación y meses de trabajo por parte de lingüistas computacionales experimentados . [15] Los sistemas estadísticos NER generalmente requieren una gran cantidad de datos de entrenamiento anotados manualmente . Se han sugerido enfoques semisupervisados para evitar parte del esfuerzo de anotación. [16] [17]
Se han utilizado muchos tipos diferentes de clasificadores para realizar NER aprendido por máquina, siendo los campos aleatorios condicionales una opción típica. [18]
En 2001, una investigación indicó que incluso los sistemas NER más modernos eran frágiles, lo que significa que los sistemas NER desarrollados para un dominio normalmente no funcionaban bien en otros dominios. [19] Se requiere un esfuerzo considerable para ajustar los sistemas NER para que funcionen bien en un nuevo dominio; Esto es válido tanto para los sistemas estadísticos basados en reglas como para los sistemas entrenables.
Los primeros trabajos en sistemas NER en la década de 1990 estaban dirigidos principalmente a la extracción de artículos periodísticos. La atención se centró entonces en la tramitación de los despachos e informes militares. Las etapas posteriores de la evaluación de extracción automática de contenido (ACE) también incluyeron varios tipos de estilos de texto informales, como blogs web y transcripciones de texto de conversaciones telefónicas. Desde aproximadamente 1998, ha habido un gran interés en la identificación de entidades en las comunidades de biología molecular , bioinformática y procesamiento médico del lenguaje natural . La entidad de interés más común en ese dominio han sido los nombres de genes y productos genéticos. También ha habido un gran interés en el reconocimiento de entidades químicas y fármacos en el contexto del concurso CHEMDNER, en el que participaron 27 equipos. [20]
A pesar de los altos números de F1 reportados en el conjunto de datos MUC-7, el problema del reconocimiento de entidades nombradas está lejos de estar resuelto. Los principales esfuerzos están dirigidos a reducir el trabajo de anotaciones mediante el empleo de aprendizaje semisupervisado , [16] [21] un rendimiento sólido en todos los dominios [22] [23] y la ampliación a tipos de entidades detalladas. [12] [24] En los últimos años, muchos proyectos han recurrido al crowdsourcing , que es una solución prometedora para obtener juicios humanos agregados de alta calidad para enfoques de aprendizaje automático supervisados y semisupervisados para NER. [25] Otra tarea desafiante es diseñar modelos para abordar contextos lingüísticamente complejos como Twitter y consultas de búsqueda. [26]
Hay algunos investigadores que hicieron algunas comparaciones sobre el rendimiento de NER de diferentes modelos estadísticos como HMM ( modelo oculto de Markov ), ME ( entropía máxima ) y CRF ( campos aleatorios condicionales ) y conjuntos de características. [27] Y algunos investigadores propusieron recientemente un modelo de aprendizaje semisupervisado basado en gráficos para tareas NER específicas del lenguaje. [28]
Una tarea recientemente emergente de identificar "expresiones importantes" en el texto y vincularlas con Wikipedia [29] [30] [31] puede verse como un ejemplo de reconocimiento de entidades nombradas extremadamente fino, donde los tipos son los reales. Páginas de Wikipedia que describen los conceptos (potencialmente ambiguos). A continuación se muestra un ejemplo de resultado de un sistema de Wikificación:
<ENTITY url= "https://en.wikipedia.org/wiki/Named_entity_recognition/Michael_I._Jordan" > Michael Jordan </ENTITY> es profesor en <ENTITY url= " https://en.wikipedia.org/wiki/Named_entity_recognition/University_of_California ,_Berkeley" > Berkeley </ENTITY> Otro campo que ha experimentado avances pero que sigue siendo un desafío es la aplicación de NER a Twitter y otros microblogs, considerados "ruidosos" debido a la ortografía no estándar, la brevedad y la informalidad de los textos. [32] [33] Las comunidades de investigación han organizado desafíos NER en tweets en inglés para comparar el rendimiento de varios enfoques, como LSTM bidireccionales , Learning-to-Search o CRF. [34] [35] [36]