SemEval ( Sem antic Evaluation ) es una serie continua de evaluaciones de sistemas de análisis semántico computacional ; evolucionó a partir de la serie de evaluación del sentido de palabras de Senseval . Las evaluaciones tienen como objetivo explorar la naturaleza del significado en el lenguaje. Si bien el significado es intuitivo para los humanos, transferir esas intuiciones al análisis computacional ha resultado difícil de alcanzar.
Esta serie de evaluaciones proporciona un mecanismo para caracterizar en términos más precisos exactamente lo que es necesario para calcular el significado. Como tal, las evaluaciones proporcionan un mecanismo emergente para identificar los problemas y las soluciones para los cálculos con significado. Estos ejercicios han evolucionado para articular más dimensiones involucradas en nuestro uso del lenguaje. Comenzaron con intentos aparentemente simples de identificar computacionalmente los sentidos de las palabras . Han evolucionado para investigar las interrelaciones entre los elementos de una oración (p. ej., etiquetado de roles semánticos ), las relaciones entre oraciones (p. ej., correferencia ) y la naturaleza de lo que decimos (relaciones semánticas y análisis de sentimientos ).
El objetivo de los ejercicios SemEval y Senseval es evaluar sistemas de análisis semántico. " Análisis semántico " se refiere a un análisis formal del significado, y "computacional" se refiere a enfoques que en principio apoyan una implementación efectiva. [1]
Las tres primeras evaluaciones, Senseval-1 a Senseval-3, se centraron en la desambiguación del sentido de las palabras (WSD), creciendo cada vez en el número de idiomas ofrecidos en las tareas y en el número de equipos participantes. A partir del cuarto taller, SemEval-2007 (SemEval-1), la naturaleza de las tareas evolucionó para incluir tareas de análisis semántico fuera de la desambiguación del sentido de las palabras. [2]
Impulsada por la concepción de la conferencia *SEM, la comunidad SemEval decidió realizar talleres de evaluación anualmente en asociación con la conferencia *SEM. También se tomó la decisión de que no todas las tareas de evaluación se ejecutarán todos los años; por ejemplo, ninguna de las tareas de WSD se incluyó en el taller SemEval-2012.
Desde los primeros días, evaluar la calidad de los algoritmos de desambiguación del sentido de las palabras había sido principalmente una cuestión de evaluación intrínseca , y "casi no se había hecho ningún intento de evaluar los componentes WSD integrados". [3] Sólo muy recientemente (2006) las evaluaciones extrínsecas comenzaron a proporcionar alguna evidencia del valor de WSD en aplicaciones de usuario final. [4] Hasta aproximadamente 1990, las discusiones sobre la tarea de desambiguación de sentido se centraron principalmente en ejemplos ilustrativos en lugar de una evaluación integral. A principios de la década de 1990 se iniciaron evaluaciones intrínsecas más sistemáticas y rigurosas, incluida una experimentación más formal con pequeños conjuntos de palabras ambiguas. [5]
En abril de 1997, Martha Palmer y Marc Light organizaron un taller titulado Etiquetado con semántica léxica: ¿por qué, qué y cómo? en conjunto con la Conferencia sobre Procesamiento Aplicado del Lenguaje Natural. [6] En ese momento, había un claro reconocimiento de que los corpus anotados manualmente habían revolucionado otras áreas de la PNL, como el etiquetado y el análisis de partes del discurso , y que los enfoques basados en corpus tenían el potencial de revolucionar también el análisis semántico automático. . [7] Kilgarriff recordó que había "un alto grado de consenso en que el campo necesitaba evaluación", y varias propuestas prácticas de Resnik y Yarowsky iniciaron una discusión que condujo a la creación de los ejercicios de evaluación de Senseval. [8] [9] [10]
Después de SemEval-2010, muchos participantes sienten que el ciclo de 3 años es una espera larga. Muchas otras tareas compartidas, como la Conferencia sobre el aprendizaje de lenguajes naturales (CoNLL) y el Reconocimiento de implicaciones textuales (RTE), se llevan a cabo anualmente. Por esta razón, los coordinadores de SemEval dieron la oportunidad a los organizadores de la tarea de elegir entre un ciclo de 2 o 3 años. [11] La comunidad SemEval favoreció el ciclo de 3 años.
Aunque los votos dentro de la comunidad SemEval favorecieron un ciclo de 3 años, los organizadores y coordinadores decidieron dividir la tarea de SemEval en 2 talleres de evaluación. Esto fue provocado por la introducción de la nueva conferencia *SEM. Los organizadores de SemEval pensaron que sería apropiado asociar nuestro evento con la conferencia *SEM y colocar el taller de SemEval con la conferencia *SEM. Los organizadores obtuvieron respuestas muy positivas (de los coordinadores de tareas/organizadores y participantes) sobre la asociación con el *SEM anual, y 8 tareas estuvieron dispuestas a cambiar al año 2012. Así nacieron SemEval-2012 y SemEval-2013. El plan actual es cambiar a un cronograma SemEval anual para asociarlo con la conferencia *SEM, pero no todas las tareas deben ejecutarse todos los años. [12]
El marco de los talleres de evaluación SemEval/Senseval emula las Conferencias de Comprensión de Mensajes (MUC) y otros talleres de evaluación organizados por ARPA (Agencia de Proyectos de Investigación Avanzada, rebautizada como Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) ).
Etapas de los talleres de evaluación SemEval/Senseval [14]
Senseval-1 y Senseval-2 se centraron en la evaluación de sistemas WSD en los principales idiomas que estaban disponibles en corpus y diccionarios computarizados. Senseval-3 miró más allá de los lexemas y comenzó a evaluar sistemas que analizaban áreas más amplias de la semántica, como los Roles Semánticos (técnicamente conocidos como roles Theta en la semántica formal), la Transformación de Formas Lógicas (comúnmente la semántica de frases, cláusulas u oraciones se representaba en formas lógicas de primer orden ) y Senseval-3 exploraron las prestaciones del análisis semántico en la traducción automática .
A medida que los tipos de diferentes sistemas semánticos computacionales crecieron más allá de la cobertura de WSD, Senseval evolucionó a SemEval, donde se evaluaron más aspectos de los sistemas semánticos computacionales.
Los ejercicios SemEval proporcionan un mecanismo para examinar cuestiones en el análisis semántico de textos. Los temas de interés no alcanzan el rigor lógico que se encuentra en la semántica computacional formal, que intenta identificar y caracterizar los tipos de cuestiones relevantes para la comprensión humana del lenguaje. El objetivo principal es replicar el procesamiento humano mediante sistemas informáticos. Las tareas (que se muestran a continuación) son desarrolladas por individuos y grupos para abordar cuestiones identificables, a medida que adquieren alguna forma concreta.
La primera área importante del análisis semántico es la identificación del significado deseado a nivel de palabra (incluyendo expresiones idiomáticas). Se trata de la desambiguación del sentido de las palabras (un concepto que se está alejando de la noción de que las palabras tienen sentidos discretos, sino que se caracterizan por las formas en que se usan, es decir, sus contextos). Las tareas en esta área incluyen muestras léxicas y desambiguación de todas las palabras, desambiguación multilingüe y entre idiomas y sustitución léxica. Dadas las dificultades para identificar los sentidos de las palabras, otras tareas relevantes para este tema incluyen la inducción del sentido de las palabras, la adquisición de subcategorizaciones y la evaluación de recursos léxicos.
La segunda área importante del análisis semántico es la comprensión de cómo encajan entre sí las diferentes oraciones y elementos textuales. Las tareas en esta área incluyen etiquetado de roles semánticos, análisis de relaciones semánticas y resolución de correferencias. Otras tareas en esta área analizan cuestiones más especializadas de análisis semántico, como el procesamiento de información temporal, la resolución de metonimia y el análisis de sentimientos. Las tareas en esta área tienen muchas aplicaciones potenciales, como extracción de información, respuesta a preguntas, resumen de documentos, traducción automática, construcción de tesauros y redes semánticas, modelado de lenguaje, parafraseo y reconocimiento de vinculaciones textuales. En cada una de estas potenciales aplicaciones, la contribución de los tipos de análisis semántico constituye el tema de investigación más destacado.
Por ejemplo, en la tarea de inducción y desambiguación del sentido de las palabras , hay tres fases separadas:
La evaluación no supervisada para WSI consideró dos tipos de evaluación V Measure (Rosenberg y Hirschberg, 2007) y F-Score emparejado (Artiles et al., 2009). Esta evaluación sigue la evaluación supervisada de la tarea WSI SemEval-2007 (Agirre y Soroa, 2007)
Las tablas a continuación reflejan el crecimiento del taller de Senseval a SemEval y brindan una descripción general de qué área de semántica computacional se evaluó a lo largo de los talleres de Senseval/SemEval.
La tarea WSD multilingüe fue introducida para el taller SemEval-2013. [17] La tarea tiene como objetivo evaluar sistemas de desambiguación de sentido de palabras en un escenario multilingüe utilizando BabelNet como inventario de sentido. A diferencia de tareas similares como WSD multilingüe o la tarea de sustitución léxica multilingüe , donde no se especifica ningún inventario de sentido fijo, WSD multilingüe utiliza BabelNet como inventario de sentido. Antes del desarrollo de BabelNet, se llevó a cabo una tarea de evaluación WSD de muestra léxica bilingüe en SemEval-2007 en bitextos chino-inglés. [18]
La tarea WSD multilingüe se introdujo en el taller de evaluación SemEval-2007 y se volvió a proponer en el taller SemEval-2013. [19] Para facilitar la integración de sistemas WSD en otras aplicaciones de procesamiento del lenguaje natural (NLP), como la traducción automática y la recuperación de información multilingüe , se introdujo la tarea de evaluación WSD multilingüe, un enfoque de WSD independiente del lenguaje y basado en el conocimiento. . La tarea es una tarea de desambiguación del sentido de las palabras sin supervisión para sustantivos en inglés mediante corpus paralelos. Sigue la variante de muestra léxica de la tarea WSD clásica, restringida a sólo 20 sustantivos polisémicos.
Vale la pena señalar que SemEval-2014 tiene solo dos tareas que eran multilingües/interlingües, es decir (i) la tarea de Asistente de escritura L2, que es una tarea WSD interlingüe que incluye inglés, español, alemán, francés y holandés y (ii) la tarea de Similitud Textual Semántica Multilingüe que evalúa sistemas en textos en inglés y español.
Las principales tareas de la evaluación semántica incluyen las siguientes áreas del procesamiento del lenguaje natural . Se espera que esta lista crezca a medida que avance el campo. [20]
La siguiente tabla muestra las áreas de estudios que estuvieron involucradas desde Senseval-1 hasta SemEval-2014 (S se refiere a Senseval y SE se refiere a SemEval, por ejemplo, S1 se refiere a Senseval-1 y SE07 se refiere a SemEval2007):
Las tareas de SemEval han creado muchos tipos de anotaciones semánticas, cada tipo con varios esquemas. En SemEval-2015, los organizadores decidieron agrupar las tareas en varias pistas. Estas pistas se clasifican según el tipo de anotaciones semánticas que la tarea espera lograr. [21] A continuación se enumera el tipo de anotaciones semánticas involucradas en los talleres de SemEval:
Una tarea y su asignación de pistas son flexibles; una tarea podría convertirse en su propia vía, por ejemplo, la tarea de evaluación de taxonomía en SemEval-2015 estaba bajo la vía de Aprendizaje de relaciones semánticas y en SemEval-2016, hay una vía dedicada a la taxonomía semántica con una nueva tarea de enriquecimiento de taxonomía semántica . [22] [23]