La respuesta a preguntas ( QA ) es una disciplina de las ciencias informáticas dentro de los campos de la recuperación de información y el procesamiento del lenguaje natural (PNL) que se ocupa de construir sistemas que respondan automáticamente a las preguntas planteadas por humanos en un lenguaje natural . [1]
Una implementación de respuesta a preguntas, generalmente un programa de computadora, puede construir sus respuestas consultando una base de datos estructurada de conocimiento o información, generalmente una base de conocimiento . Más comúnmente, los sistemas de respuesta a preguntas pueden obtener respuestas de una colección no estructurada de documentos en lenguaje natural.
Algunos ejemplos de colecciones de documentos en lenguaje natural utilizadas para sistemas de respuesta a preguntas incluyen:
La investigación de respuesta a preguntas intenta desarrollar formas de responder a una amplia gama de tipos de preguntas, incluidas preguntas de hecho, de lista, de definición , de cómo, de por qué, hipotéticas, semánticamente restringidas y multilingües.
Otra forma de categorizar los sistemas de respuesta a preguntas es según el enfoque técnico utilizado. Hay varios tipos diferentes de sistemas de control de calidad, incluidos
Los sistemas basados en reglas utilizan un conjunto de reglas para determinar la respuesta correcta a una pregunta. Los sistemas estadísticos utilizan métodos estadísticos para encontrar la respuesta más probable a una pregunta. Los sistemas híbridos utilizan una combinación de métodos estadísticos y basados en reglas.
Dos de los primeros sistemas de respuesta a preguntas fueron BÉISBOL [4] y LUNAR. [5] BÉISBOL respondió preguntas sobre las Grandes Ligas de Béisbol durante un período de un año [ ambiguo ] . LUNAR respondió preguntas sobre el análisis geológico de las rocas devueltas por las misiones Apolo a la Luna. Ambos sistemas de respuesta a preguntas fueron muy eficaces en los dominios elegidos. LUNAR se demostró en una convención de ciencia lunar en 1971 y fue capaz de responder el 90% de las preguntas en su dominio planteadas por personas no capacitadas en el sistema. En los años siguientes se desarrollaron más sistemas de respuesta a preguntas de dominio restringido. La característica común de todos estos sistemas es que tenían una base de datos central o un sistema de conocimiento escrito a mano por expertos del dominio elegido. Las habilidades lingüísticas de BASEBALL y LUNAR utilizaron técnicas similares a ELIZA y DOCTOR , los primeros programas chatterbot .
SHRDLU fue un exitoso programa de respuesta a preguntas desarrollado por Terry Winograd a finales de los años 1960 y principios de los 1970. Simulaba el funcionamiento de un robot en un mundo de juguete (el "mundo de bloques") y ofrecía la posibilidad de hacerle preguntas al robot sobre el estado del mundo. La fortaleza de este sistema fue la elección de un dominio muy específico y un mundo muy simple con reglas de física que eran fáciles de codificar en un programa de computadora.
En la década de 1970, se desarrollaron bases de conocimiento dirigidas a dominios de conocimiento más limitados. Los sistemas de respuesta a preguntas desarrollados para interactuar con estos sistemas expertos produjeron respuestas más repetibles [ aclaración necesaria ] y válidas a las preguntas dentro de un área de conocimiento. Estos sistemas expertos se parecían mucho a los sistemas modernos de respuesta a preguntas, excepto en su arquitectura interna. Los sistemas expertos dependen en gran medida de bases de conocimiento organizadas y construidas por expertos , mientras que muchos sistemas modernos de respuesta a preguntas se basan en el procesamiento estadístico de un corpus de texto grande, no estructurado y en lenguaje natural.
Las décadas de 1970 y 1980 vieron el desarrollo de teorías integrales en lingüística computacional , que llevaron al desarrollo de proyectos ambiciosos en comprensión de textos y respuesta a preguntas. Un ejemplo fue el Unix Consultant (UC), desarrollado por Robert Wilensky en UC Berkeley a finales de los años 1980. El sistema respondió preguntas relacionadas con el sistema operativo Unix . Tenía una base de conocimientos integral y artesanal de su dominio y su objetivo era formular la respuesta para adaptarse a varios tipos de usuarios. Otro proyecto fue LILOG, un sistema de comprensión de textos que operaba en el ámbito de la información turística en una ciudad alemana. Los sistemas desarrollados en los proyectos UC y LILOG nunca pasaron de la etapa de simples demostraciones, pero ayudaron al desarrollo de teorías sobre lingüística y razonamiento computacional.
Se han desarrollado sistemas especializados de respuesta a preguntas en lenguaje natural, como EAGLi para científicos de la salud y la vida. [6]
Los sistemas de control de calidad se utilizan en una variedad de aplicaciones, incluidas
A partir de 2001 [actualizar], los sistemas de respuesta a preguntas normalmente incluían un módulo clasificador de preguntas que determinaba el tipo de pregunta y el tipo de respuesta. [7]
Los diferentes tipos de sistemas de respuesta a preguntas emplean arquitecturas diferentes. Por ejemplo, los sistemas modernos de respuesta a preguntas de dominio abierto pueden utilizar una arquitectura de lector-recuperador. El recuperador tiene como objetivo recuperar documentos relevantes relacionados con una pregunta determinada, mientras que el lector se utiliza para inferir la respuesta a partir de los documentos recuperados. Sistemas como GPT-3 , T5, [8] y BART [9] utilizan una arquitectura [ jerga ] de extremo a extremo en la que una arquitectura [ jerga ] basada en transformadores almacena datos textuales a gran escala en los parámetros subyacentes. Estos modelos pueden responder preguntas sin acceder a fuentes de conocimiento externas.
La respuesta a las preguntas depende de un buen corpus de búsqueda ; sin documentos que contengan la respuesta, poco puede hacer un sistema de respuesta a preguntas. Las colecciones más grandes generalmente significan un mejor rendimiento en la respuesta a las preguntas, a menos que el dominio de la pregunta sea ortogonal a la colección. La redundancia de datos en colecciones masivas, como la web, significa que es probable que los fragmentos de información se expresen de muchas maneras diferentes en diferentes contextos y documentos, [10] lo que genera dos beneficios:
Algunos sistemas de respuesta a preguntas dependen en gran medida del razonamiento automatizado . [11] [12]
En la recuperación de información , un sistema de respuesta a preguntas de dominio abierto intenta devolver una respuesta a la pregunta del usuario. La respuesta devuelta se presenta en forma de textos breves en lugar de una lista de documentos relevantes. [13] El sistema encuentra respuestas utilizando una combinación de técnicas de lingüística computacional , recuperación de información y representación del conocimiento .
El sistema toma como entrada una pregunta en lenguaje natural en lugar de un conjunto de palabras clave, por ejemplo: "¿Cuándo es el día nacional de China?" Luego transforma esta oración de entrada en una consulta en su forma lógica . Aceptar preguntas en lenguaje natural hace que el sistema sea más fácil de usar, pero más difícil de implementar, ya que hay una variedad de tipos de preguntas y el sistema tendrá que identificar la correcta para poder dar una respuesta sensata. Asignar un tipo de pregunta a la pregunta es una tarea crucial; Todo el proceso de extracción de respuestas se basa en encontrar el tipo de pregunta correcto y, por tanto, el tipo de respuesta correcto.
La extracción de palabras clave es el primer paso para identificar el tipo de pregunta de entrada. [14] En algunos casos, las palabras indican claramente el tipo de pregunta, por ejemplo, "Quién", "Dónde", "Cuándo" o "Cuántos". Estas palabras pueden sugerir al sistema que las respuestas deben ser del tipo "Persona". ", "Ubicación", "Fecha" o "Número", respectivamente. Las técnicas de análisis sintáctico y etiquetado POS (parte del discurso) también pueden determinar el tipo de respuesta. En el ejemplo anterior, el tema es "Día Nacional Chino", el predicado es "es" y el modificador adverbial es "cuándo", por lo tanto el tipo de respuesta es "Fecha". Desafortunadamente, algunas palabras interrogativas como "Cuál", "Qué" o "Cómo" no corresponden a tipos de respuesta inequívocos: cada una puede representar más de un tipo. En situaciones como esta, es necesario considerar otras palabras de la pregunta. Se puede utilizar un diccionario léxico como WordNet para comprender el contexto.
Una vez que el sistema identifica el tipo de pregunta, utiliza un sistema de recuperación de información para encontrar un conjunto de documentos que contengan las palabras clave correctas. Un etiquetador y un fragmentador de NP/Verb Group pueden verificar si se mencionan las entidades y relaciones correctas en los documentos encontrados. Para preguntas como "Quién" o "Dónde", un reconocedor de entidad nombrada encuentra nombres de "Persona" y "Ubicación" relevantes en los documentos recuperados. Sólo se seleccionan los párrafos relevantes para la clasificación. [ se necesita aclaración ]
Un modelo de espacio vectorial puede clasificar las respuestas candidatas. Marque [ ¿quién? ] si la respuesta es del tipo correcto según lo determinado en la etapa de análisis del tipo de pregunta. Una técnica de inferencia puede validar las respuestas de los candidatos. Luego se otorga una puntuación a cada uno de estos candidatos de acuerdo con la cantidad de palabras interrogativas que contiene y qué tan cerca están estas palabras del candidato; cuanto más y más cerca, mejor. Luego, la respuesta se traduce mediante análisis en una representación compacta y significativa. En el ejemplo anterior, la respuesta de salida esperada es "1 de octubre".
En 2018 se publicó un sistema de respuesta a preguntas de código abierto y compatible con las matemáticas llamado MathQA , basado en Ask Platypus y Wikidata . [15] MathQA toma una pregunta en idioma natural en inglés o hindi como entrada y devuelve una fórmula matemática recuperada de Wikidata como una respuesta sucinta, traducida a una forma computable que permite al usuario insertar valores para las variables. El sistema recupera nombres y valores de variables y constantes comunes de Wikidata si están disponibles. Se afirma que el sistema supera a un motor de conocimiento matemático computacional comercial en un conjunto de prueba. [15] MathQA está alojado en Wikimedia en https://mathqa.wmflabs.org/. En 2022, se amplió para responder a 15 tipos de preguntas de matemáticas. [dieciséis]
Los métodos de MathQA deben combinar lenguaje natural y de fórmulas. Un enfoque posible es realizar anotaciones supervisadas a través de Entity Linking . La "Tarea ARQMath" en CLEF 2020 [17] se lanzó para abordar el problema de vincular las preguntas recién publicadas desde la plataforma Math Stack Exchange con las existentes que ya fueron respondidas por la comunidad. Proporcionar hipervínculos a preguntas ya respondidas y relacionadas semánticamente ayuda a los usuarios a obtener respuestas antes, pero es un problema desafiante porque la relación semántica no es trivial. [18] El laboratorio fue motivado por el hecho de que el 20% de las consultas matemáticas en los motores de búsqueda de propósito general se expresan como preguntas bien formadas. [19] El desafío contenía dos subtareas separadas. Tarea 1: "Recuperación de respuestas" que relaciona las respuestas de publicaciones antiguas con preguntas recién planteadas, y Tarea 2: "Recuperación de fórmulas" que relaciona las fórmulas de publicaciones antiguas con preguntas nuevas. Comenzando con el dominio de las matemáticas, que involucra el lenguaje de fórmulas, el objetivo es extender luego la tarea a otros dominios (por ejemplo, disciplinas STEM, como la química, la biología, etc.), que emplean otros tipos de notación especial (por ejemplo, la notación química). fórmulas). [17] [18]
También se ha investigado lo contrario de la respuesta a preguntas matemáticas: la generación de preguntas matemáticas. El motor de prueba y generación de preguntas de física PhysWikiQuiz recupera fórmulas matemáticas de Wikidata junto con información semántica sobre sus identificadores constituyentes (nombres y valores de variables). [20] Luego, las fórmulas se reorganizan para generar un conjunto de variantes de fórmula. Posteriormente, las variables se sustituyen por valores aleatorios para generar una gran cantidad de preguntas diferentes adecuadas para las pruebas individuales de los estudiantes. PhysWikiquiz está alojado en Wikimedia en https://physwikiquiz.wmflabs.org/.
Los sistemas de respuesta a preguntas se han ampliado en los últimos años [ pueden quedar obsoletos a partir de abril de 2023 ] para abarcar dominios de conocimiento adicionales [21] Por ejemplo, se han desarrollado sistemas para responder automáticamente preguntas temporales y geoespaciales, preguntas de definición y terminología, preguntas biográficas. , preguntas multilingües y preguntas sobre el contenido de audio, imágenes, [22] y vídeo. [23] Los temas de investigación actuales que responden a preguntas incluyen:
En 2011, Watson , un sistema informático de respuesta a preguntas desarrollado por IBM , compitió en dos partidos de exhibición de Jeopardy! contra Brad Rutter y Ken Jennings , ganando por un margen significativo. [32] Facebook Research puso su sistema DrQA [33] disponible bajo una licencia de código abierto . Este sistema utiliza Wikipedia como fuente de conocimiento. [2] El marco de código abierto Haystack de deepset combina la respuesta a preguntas de dominio abierto con la respuesta generativa a preguntas y admite la adaptación del dominio [ aclaración necesaria ] de los modelos de lenguaje subyacentes [ aclaración necesaria ] para casos de uso de la industria [ vagos ] .[34] [35]
{{cite book}}: Mantenimiento CS1: falta el editor de la ubicación ( enlace ){{cite journal}}: Citar diario requiere |journal=( ayuda ){{cite web}}: Mantenimiento CS1: bot: estado de la URL original desconocido ( enlace )