En lingüística , un treebank es un corpus de texto analizado que anota la estructura sintáctica o semántica de las oraciones . La construcción de corpus analizados a principios de los años 1990 revolucionó la lingüística computacional , que se benefició de los datos empíricos a gran escala . [1]
El término treebank fue acuñado por el lingüista Geoffrey Leech en la década de 1980, por analogía con otros repositorios como un banco de semillas o un banco de sangre . [2] Esto se debe a que tanto la estructura sintáctica como la semántica se representan comúnmente compositivamente como una estructura de árbol . El término corpus analizado se usa a menudo indistintamente con el término treebank, con énfasis en la primacía de las oraciones en lugar de los árboles.
Los bancos de árboles se crean a menudo sobre un corpus que ya ha sido anotado con etiquetas de categorías gramaticales . A su vez, los bancos de árboles a veces se mejoran con información semántica u otra información lingüística. Los bancos de árboles se pueden crear de forma totalmente manual, donde los lingüistas anotan cada oración con estructura sintáctica, o de forma semiautomática, donde un analizador asigna cierta estructura sintáctica que los lingüistas luego verifican y, si es necesario, corrigen. En la práctica, verificar y completar por completo el análisis de corpus de lenguaje natural es un proyecto que requiere mucho trabajo y que puede llevar varios años a equipos de lingüistas graduados. El nivel de detalle de la anotación y la amplitud de la muestra lingüística determinan la dificultad de la tarea y el tiempo necesario para construir un banco de árboles.
Algunos bancos de árboles siguen una teoría lingüística específica en su anotación sintáctica (por ejemplo, BulTreeBank sigue HPSG ), pero la mayoría intenta ser menos específica en cuanto a la teoría. Sin embargo, se pueden distinguir dos grupos principales: los bancos de árboles que anotan la estructura de frases (por ejemplo, Penn Treebank o ICE-GB) y los que anotan la estructura de dependencia (por ejemplo, Prague Dependency Treebank o Quranic Arabic Dependency Treebank).
Es importante aclarar la distinción entre la representación formal y el formato de archivo utilizado para almacenar los datos anotados. Los Treebanks se construyen necesariamente de acuerdo con una gramática particular. La misma gramática puede implementarse mediante diferentes formatos de archivo. Por ejemplo, el análisis sintáctico de John loves Mary , que se muestra en la figura de la derecha, puede representarse mediante simples corchetes etiquetados en un archivo de texto, como este (siguiendo la notación de Penn Treebank):
(S (NP (NNP Juan)) (VP (VPZ ama) (NP (NNP María))) (. .))
Este tipo de representación es popular porque requiere pocos recursos y la estructura de árbol es relativamente fácil de leer sin herramientas de software. Sin embargo, a medida que los corpus se vuelven cada vez más complejos, pueden preferirse otros formatos de archivo. Las alternativas incluyen esquemas XML específicos de Treebank , sangría numerada y varios tipos de notación de separación.
Desde una perspectiva de lingüística computacional [3] , los bancos de árboles se han utilizado para diseñar sistemas de procesamiento de lenguaje natural de última generación, como etiquetadores de partes del discurso , analizadores sintácticos , analizadores semánticos y sistemas de traducción automática. [4] La mayoría de los sistemas computacionales utilizan datos de bancos de árboles de referencia. Sin embargo, un corpus analizado automáticamente que no sea corregido por lingüistas humanos aún puede ser útil. Puede proporcionar evidencia de la frecuencia de reglas para un analizador sintáctico. Un analizador sintáctico se puede mejorar aplicándolo a grandes cantidades de texto y recopilando frecuencias de reglas. Sin embargo, debería ser obvio que solo mediante un proceso de corrección y finalización de un corpus a mano es posible identificar reglas ausentes de la base de conocimiento del analizador. Además, es probable que las frecuencias sean más precisas.
En lingüística de corpus , los bancos de datos se utilizan para estudiar fenómenos sintácticos (por ejemplo, los corpus diacrónicos se pueden utilizar para estudiar la evolución temporal de los cambios sintácticos). Una vez analizado, un corpus contendrá evidencia de frecuencia que muestra cuán comunes son las diferentes estructuras gramaticales en uso. Los bancos de datos también brindan evidencia de cobertura y respaldan el descubrimiento de fenómenos gramaticales nuevos e imprevistos.
Otro uso de los treebanks en la lingüística teórica y la psicolingüística es la evidencia de interacción. Un treebank completo puede ayudar a los lingüistas a realizar experimentos sobre cómo la decisión de utilizar una construcción gramatical tiende a influir en la decisión de formar otras, y a tratar de entender cómo los hablantes y escritores toman decisiones al formar oraciones. La investigación sobre la interacción es particularmente fructífera a medida que se agregan más capas de anotación, por ejemplo semánticas o pragmáticas, a un corpus. Entonces es posible evaluar el impacto de los fenómenos no sintácticos en las elecciones gramaticales.
En la investigación lingüística, los datos de Treebank anotados se han utilizado en la investigación sintáctica para probar teorías lingüísticas de la estructura de oraciones frente a grandes cantidades de ejemplos que ocurren de forma natural. [ cita requerida ]
Un banco de árboles semánticos es una colección de oraciones en lenguaje natural anotadas con una representación de significado. Estos recursos utilizan una representación formal de la estructura semántica de cada oración . Los bancos de árboles semánticos varían en la profundidad de su representación semántica. Un ejemplo notable de anotación semántica profunda es el Groningen Meaning Bank, desarrollado en la Universidad de Groningen y anotado utilizando la teoría de representación del discurso . Un ejemplo de un banco de árboles semánticos superficial es PropBank , que proporciona anotación de proposiciones verbales y sus argumentos, sin intentar representar cada palabra del corpus en forma lógica .
Se han desarrollado muchos bancos de árboles sintácticos para una amplia variedad de idiomas:
Para facilitar las investigaciones posteriores entre tareas multilingües, algunos investigadores discutieron el esquema de anotación universal para varios idiomas. De esta manera, la gente intenta utilizar o fusionar las ventajas de diferentes corpora de treebanks. Por ejemplo, el enfoque de anotación universal para treebanks de dependencia; [10] y el enfoque de anotación universal para treebanks de estructura de frases. [11]
Una de las formas clave de extraer evidencia de un banco de datos es a través de herramientas de búsqueda. Las herramientas de búsqueda para corpus analizados generalmente dependen del esquema de anotación que se aplicó al corpus. Las interfaces de usuario varían en sofisticación desde sistemas de consulta basados en expresiones dirigidos a programadores informáticos hasta entornos de exploración completos dirigidos a lingüistas generales. Wallis (2008) analiza los principios de búsqueda en bancos de datos en detalle y revisa el estado del arte en ese momento. [12]
{{cite conference}}: CS1 maint: varios nombres: lista de autores ( enlace )