SemEval ( Evaluación semántica ) es una serie de evaluaciones de sistemas de análisis semántico computacional que se desarrolló a partir de la serie de evaluación del sentido de las palabras Senseval . Las evaluaciones tienen como objetivo explorar la naturaleza del significado en el lenguaje. Si bien el significado es intuitivo para los humanos, transferir esas intuiciones al análisis computacional ha resultado difícil.
Esta serie de evaluaciones proporciona un mecanismo para caracterizar en términos más precisos exactamente lo que es necesario para calcular el significado. Como tal, las evaluaciones proporcionan un mecanismo emergente para identificar los problemas y las soluciones para los cálculos con significado. Estos ejercicios han evolucionado para articular más dimensiones que están involucradas en nuestro uso del lenguaje. Comenzaron con intentos aparentemente simples de identificar los sentidos de las palabras computacionalmente. Han evolucionado para investigar las interrelaciones entre los elementos de una oración (por ejemplo, etiquetado de roles semánticos ), relaciones entre oraciones (por ejemplo, correferencia ) y la naturaleza de lo que estamos diciendo (relaciones semánticas y análisis de sentimientos ).
El objetivo de los ejercicios SemEval y Senseval es evaluar sistemas de análisis semántico. El término " análisis semántico " se refiere a un análisis formal del significado, y el término "computacional" se refiere a enfoques que, en principio, respaldan una implementación eficaz. [1]
Las primeras tres evaluaciones, Senseval-1 a Senseval-3, se centraron en la desambiguación del sentido de las palabras (WSD), y en cada una de ellas se fue ampliando el número de idiomas ofrecidos en las tareas y el número de equipos participantes. A partir del cuarto taller, SemEval-2007 (SemEval-1), la naturaleza de las tareas evolucionó para incluir tareas de análisis semántico fuera de la desambiguación del sentido de las palabras. [2]
A raíz de la idea de la conferencia *SEM, la comunidad SemEval decidió realizar talleres de evaluación anualmente en asociación con la conferencia *SEM. También se decidió que no todas las tareas de evaluación se realizarían todos los años; por ejemplo, ninguna de las tareas de WSD se incluyó en el taller SemEval-2012.
Desde los primeros días, la evaluación de la calidad de los algoritmos de desambiguación del sentido de las palabras ha sido principalmente una cuestión de evaluación intrínseca , y “casi no se han hecho intentos de evaluar los componentes WSD integrados”. [3] Sólo muy recientemente (2006) las evaluaciones extrínsecas han comenzado a proporcionar alguna evidencia del valor de WSD en aplicaciones de usuario final. [4] Hasta 1990 aproximadamente, las discusiones sobre la tarea de desambiguación del sentido se centraron principalmente en ejemplos ilustrativos en lugar de una evaluación integral. A principios de la década de 1990 se vieron los comienzos de evaluaciones intrínsecas más sistemáticas y rigurosas, incluida una experimentación más formal en pequeños conjuntos de palabras ambiguas. [5]
En abril de 1997, Martha Palmer y Marc Light organizaron un taller titulado Tagging with Lexical Semantics: Why, What, and How? (Etiquetado con semántica léxica: ¿por qué, qué y cómo?) en conjunción con la Conferencia sobre procesamiento del lenguaje natural aplicado. [6] En ese momento, se reconoció claramente que los corpus anotados manualmente habían revolucionado otras áreas del procesamiento del lenguaje natural, como el etiquetado y el análisis sintáctico de partes del discurso , y que los enfoques basados en corpus tenían el potencial de revolucionar también el análisis semántico automático. [7] Kilgarriff recordó que había "un alto grado de consenso en cuanto a que el campo necesitaba una evaluación", y varias propuestas prácticas de Resnik y Yarowsky iniciaron una discusión que condujo a la creación de los ejercicios de evaluación de Senseval. [8] [9] [10]
Después de SemEval-2010, muchos participantes sienten que el ciclo de 3 años es una larga espera. Muchas otras tareas compartidas, como la Conferencia sobre Aprendizaje de Lenguas Naturales (CoNLL) y Reconocimiento de Implicaciones Textuales (RTE), se llevan a cabo anualmente. Por esta razón, los coordinadores de SemEval dieron la oportunidad a los organizadores de tareas de elegir entre un ciclo de 2 o 3 años. [11] La comunidad de SemEval favoreció el ciclo de 3 años.
Aunque los votos dentro de la comunidad de SemEval favorecieron un ciclo de 3 años, los organizadores y coordinadores habían decidido dividir la tarea de SemEval en 2 talleres de evaluación. Esto fue provocado por la introducción de la nueva conferencia *SEM. Los organizadores de SemEval pensaron que sería apropiado asociar nuestro evento con la conferencia *SEM y ubicar el taller de SemEval junto con la conferencia *SEM. Los organizadores recibieron respuestas muy positivas (de los coordinadores/organizadores de tareas y de los participantes) sobre la asociación con la conferencia anual *SEM, y 8 tareas estuvieron dispuestas a cambiar a 2012. Así nacieron SemEval-2012 y SemEval-2013. El plan actual es cambiar a una programación anual de SemEval para asociarla con la conferencia *SEM, pero no es necesario que todas las tareas se realicen todos los años. [12]
El marco de los talleres de evaluación SemEval/Senseval emula las Conferencias de Comprensión de Mensajes (MUC) y otros talleres de evaluación organizados por ARPA (Agencia de Proyectos de Investigación Avanzada, rebautizada como Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) ).
Etapas de los talleres de evaluación SemEval/Senseval [14]
Senseval-1 y Senseval-2 se centraron en la evaluación de sistemas WSD en los principales idiomas en los que se disponía de corpus y diccionarios informáticos. Senseval-3 miró más allá de los lexemas y comenzó a evaluar sistemas que examinaban áreas más amplias de la semántica, como los roles semánticos (técnicamente conocidos como roles theta en semántica formal), la transformación de formas lógicas (comúnmente la semántica de frases, cláusulas u oraciones se representaba en formas lógicas de primer orden ) y Senseval-3 exploró el rendimiento del análisis semántico en la traducción automática .
A medida que los tipos de diferentes sistemas semánticos computacionales crecieron más allá de la cobertura de WSD, Senseval evolucionó a SemEval, donde se evaluaron más aspectos de los sistemas semánticos computacionales.
Los ejercicios de SemEval proporcionan un mecanismo para examinar cuestiones relacionadas con el análisis semántico de textos. Los temas de interés no alcanzan el rigor lógico que se encuentra en la semántica computacional formal, que intenta identificar y caracterizar los tipos de cuestiones relevantes para la comprensión humana del lenguaje. El objetivo principal es replicar el procesamiento humano mediante sistemas informáticos. Las tareas (que se muestran a continuación) son desarrolladas por individuos y grupos para abordar cuestiones identificables, a medida que adquieren una forma concreta.
La primera área importante del análisis semántico es la identificación del significado pretendido a nivel de palabra (lo que incluye expresiones idiomáticas). Se trata de la desambiguación del sentido de las palabras (un concepto que se está alejando de la noción de que las palabras tienen sentidos discretos, sino que se caracterizan por las formas en que se utilizan, es decir, sus contextos). Las tareas en esta área incluyen la desambiguación de muestras léxicas y de todas las palabras, la desambiguación multilingüe y translingüe y la sustitución léxica. Dadas las dificultades de identificar los sentidos de las palabras, otras tareas relevantes para este tema incluyen la inducción del sentido de las palabras, la adquisición de subcategorización y la evaluación de los recursos léxicos.
La segunda área importante del análisis semántico es la comprensión de cómo se combinan los diferentes elementos oracionales y textuales. Las tareas en esta área incluyen el etiquetado de roles semánticos, el análisis de relaciones semánticas y la resolución de correferencias. Otras tareas en esta área se centran en cuestiones más especializadas del análisis semántico, como el procesamiento de información temporal, la resolución de metonimias y el análisis de sentimientos. Las tareas en esta área tienen muchas aplicaciones potenciales, como la extracción de información, la respuesta a preguntas, el resumen de documentos, la traducción automática, la construcción de tesauros y redes semánticas, el modelado del lenguaje, la paráfrasis y el reconocimiento de implicancias textuales. En cada una de estas aplicaciones potenciales, la contribución de los tipos de análisis semántico constituye el tema de investigación más destacado.
Por ejemplo, en la tarea de inducción y desambiguación del sentido de las palabras , hay tres fases separadas:
La evaluación no supervisada de WSI consideró dos tipos de evaluación: la medida V (Rosenberg y Hirschberg, 2007) y la puntuación F pareada (Artiles et al., 2009). Esta evaluación sigue la evaluación supervisada de la tarea WSI de SemEval-2007 (Agirre y Soroa, 2007).
Las tablas a continuación reflejan el crecimiento del taller desde Senseval hasta SemEval y brindan una descripción general de qué área de la semántica computacional se evaluó en los talleres Senseval/SemEval.
La tarea WSD multilingüe se introdujo en el taller SemEval-2013. [17] La tarea tiene como objetivo evaluar los sistemas de desambiguación de sentido de palabras en un escenario multilingüe utilizando BabelNet como su inventario de sentido. A diferencia de tareas similares como WSD interlingüe o la tarea de sustitución léxica multilingüe , donde no se especifica un inventario de sentido fijo, WSD multilingüe utiliza BabelNet como su inventario de sentido. Antes del desarrollo de BabelNet, se llevó a cabo una tarea de evaluación de WSD de muestra léxica bilingüe en SemEval-2007 sobre bitextos chino-inglés. [18]
La tarea WSD translingüe se introdujo en el taller de evaluación SemEval-2007 y se volvió a proponer en el taller SemEval-2013. [19] Para facilitar la integración de los sistemas WSD en otras aplicaciones de procesamiento del lenguaje natural (PLN), como la traducción automática y la recuperación de información multilingüe , se introdujo la tarea de evaluación WSD translingüe, un enfoque independiente del lenguaje y basado en el conocimiento para WSD. La tarea es una tarea de desambiguación del sentido de las palabras no supervisada para sustantivos en inglés por medio de corpus paralelos. Sigue la variante de muestra léxica de la tarea WSD clásica, restringida a solo 20 sustantivos polisémicos.
Vale la pena señalar que el SemEval-2014 tiene solo dos tareas que eran multilingües/translingües, es decir, (i) la tarea L2 Writing Assistant, que es una tarea WSD translingüe que incluye inglés, español, alemán, francés y holandés y (ii) la tarea Multilingual Semantic Textual Similarity que evalúa sistemas en textos en inglés y español.
Las principales tareas de la evaluación semántica incluyen las siguientes áreas del procesamiento del lenguaje natural . Se espera que esta lista crezca a medida que avance el campo. [20]
La siguiente tabla muestra las áreas de estudios involucradas en Senseval-1 a SemEval-2014 (S se refiere a Senseval y SE se refiere a SemEval, por ejemplo, S1 se refiere a Senseval-1 y SE07 se refiere a SemEval2007):
Las tareas de SemEval han creado muchos tipos de anotaciones semánticas, cada tipo con un esquema diferente. En SemEval-2015, los organizadores decidieron agrupar las tareas en varias secciones. Estas secciones se dividen en secciones según el tipo de anotaciones semánticas que se esperan lograr con la tarea. [21] A continuación se enumeran los tipos de anotaciones semánticas involucradas en los talleres de SemEval:
La asignación de una tarea y su pista es flexible; una tarea puede convertirse en su propia pista, por ejemplo, la tarea de evaluación de taxonomía en SemEval-2015 estaba bajo la pista de Aprendizaje de relaciones semánticas y en SemEval-2016, hay una pista dedicada a la taxonomía semántica con una nueva tarea de enriquecimiento de la taxonomía semántica . [22] [23]