La lingüística de corpus es el estudio de una lengua tal como esa lengua se expresa en su corpus de texto ( corpora plural ), su cuerpo de texto del "mundo real". La lingüística de corpus propone que un análisis confiable de una lengua es más factible con corpus recopilados en el campo (el contexto natural ("realia") de esa lengua) con una mínima interferencia experimental. Las grandes colecciones de textos permiten a la lingüística realizar análisis cuantitativos de conceptos lingüísticos que, de otro modo, serían más difíciles de cuantificar. [1]
El método del corpus de texto utiliza el cuerpo de textos escritos en cualquier lenguaje natural para derivar el conjunto de reglas abstractas que gobiernan ese lenguaje. Esos resultados se pueden utilizar para explorar las relaciones entre esa lengua temática y otras lenguas que han sido sometidas a un análisis similar. Los primeros corpus de este tipo se derivaron manualmente de textos fuente, pero ahora ese trabajo está automatizado.
Los corpora no sólo se han utilizado para investigaciones lingüísticas, también se han utilizado para compilar diccionarios (comenzando con The American Heritage Dictionary of the English Language en 1969) y guías gramaticales, como A Comprehensive Grammar of the English Language , publicada en 1985.
Los expertos en la materia tienen diferentes puntos de vista sobre la anotación de un corpus. Estos puntos de vista van desde John McHardy Sinclair , que aboga por una anotación mínima para que los textos hablen por sí mismos, [2] hasta el equipo de Survey of English Usage ( University College , Londres), que defiende que la anotación permite una mayor comprensión lingüística a través de un registro riguroso. [3]
Algunos de los primeros esfuerzos de descripción gramatical se basaron, al menos en parte, en corpus de particular importancia religiosa o cultural. Por ejemplo, la literatura Prātiśākhya describió los patrones de sonido del sánscrito tal como se encuentran en los Vedas , y la gramática del sánscrito clásico de Pāṇini se basó, al menos en parte, en el análisis de ese mismo corpus. De manera similar, los primeros gramáticos árabes prestaron especial atención al idioma del Corán . En la tradición de Europa occidental, los eruditos prepararon concordancias para permitir un estudio detallado del lenguaje de la Biblia y otros textos canónicos.
Un hito en la lingüística de corpus moderna fue la publicación de Computational Analysis of Present-Day American English en 1967. Escrito por Henry Kučera y W. Nelson Francis , el trabajo se basó en un análisis del Brown Corpus , que era una compilación contemporánea de aproximadamente un millón de palabras en inglés americano, cuidadosamente seleccionadas de una amplia variedad de fuentes. [4] El corpus de Brown fue el primer corpus computarizado diseñado para la investigación lingüística. [5] Kučera y Francis sometieron el Brown Corpus a una variedad de análisis computacionales y luego combinaron elementos de lingüística, enseñanza de idiomas, psicología , estadística y sociología para crear una obra rica y variada. Otra publicación clave fue "Hacia una descripción del uso del inglés" de Randolph Quirk en 1960 [6] en la que presentó la Encuesta sobre el uso del inglés . El corpus de Quirk fue el primer corpus moderno construido con el propósito de representar el lenguaje completo. [7]
Poco después, el editor de Boston Houghton-Mifflin se acercó a Kučera para que le proporcionara una base de citas de tres líneas y un millón de palabras para su nuevo American Heritage Dictionary , el primer diccionario compilado utilizando lingüística de corpus. La AHD dio el paso innovador de combinar elementos prescriptivos (cómo se debe usar el lenguaje) con información descriptiva (cómo se usa realmente ) .
Otros editores hicieron lo mismo. El diccionario monolingüe para estudiantes COBUILD de la editorial británica Collins , diseñado para usuarios que aprenden inglés como lengua extranjera , se compiló utilizando el Bank of English . El Corpus Survey of English Usage se utilizó en el desarrollo de una de las gramáticas basadas en corpus más importantes, escrita por Quirk et al. y publicado en 1985 como Gramática integral del idioma inglés . [8]
El Brown Corpus también ha generado una serie de corpus estructurados de manera similar: el LOB Corpus ( inglés británico de la década de 1960 ), Kolhapur ( inglés indio ), Wellington ( inglés de Nueva Zelanda ), Australian Corpus of English ( inglés australiano ), el Frown Corpus (principios de la década de 1990). Inglés americano ) y el FLOB Corpus (inglés británico de los años 90). Otros corpus representan muchos idiomas, variedades y modos, e incluyen el Corpus Internacional del Inglés y el Corpus Nacional Británico , una colección de 100 millones de palabras de una variedad de textos hablados y escritos, creada en la década de 1990 por un consorcio de editores, universidades ( Oxford y Lancaster ) y la Biblioteca Británica . Para el inglés americano contemporáneo, el trabajo se ha estancado en el American National Corpus , pero el Corpus de más de 400 millones de palabras del inglés americano contemporáneo (1990-presente) ahora está disponible a través de una interfaz web.
El primer corpus computarizado de lengua hablada transcrita fue construido en 1971 por el Proyecto Francés de Montreal, [9] que contenía un millón de palabras, lo que inspiró el corpus mucho más grande de francés hablado de Shana Poplack en el área de Ottawa-Hull. [10]
En la década de 1990, muchos de los primeros éxitos notables en métodos estadísticos en programación en lenguaje natural (PNL) se produjeron en el campo de la traducción automática , debido especialmente al trabajo en IBM Research. Estos sistemas pudieron aprovechar los corpus textuales multilingües existentes que habían sido producidos por el Parlamento de Canadá y la Unión Europea como resultado de leyes que exigían la traducción de todos los procedimientos gubernamentales a todos los idiomas oficiales de los sistemas de gobierno correspondientes.
También hay corpus en idiomas no europeos. Por ejemplo, el Instituto Nacional de Lengua y Lingüística Japonesas de Japón ha creado una serie de corpus de japonés hablado y escrito. También se han creado corpus de lengua de signos utilizando datos de vídeo. [11]
Además de estos corpus de lenguas vivas, también se han creado corpus informatizados de colecciones de textos en lenguas antiguas. Un ejemplo es la base de datos Andersen -Forbes de la Biblia hebrea, desarrollada desde la década de 1970, en la que cada cláusula se analiza utilizando gráficos que representan hasta siete niveles de sintaxis, y cada segmento está etiquetado con siete campos de información. [12] [13] El corpus árabe coránico es un corpus comentado para el idioma árabe clásico del Corán . Este es un proyecto reciente con múltiples capas de anotaciones que incluyen segmentación morfológica, etiquetado de partes del discurso y análisis sintáctico utilizando gramática de dependencia. [14] El Corpus Digital de Sánscrito (DCS) es un "corpus dividido en Sandhi de textos sánscritos con análisis morfológico y léxico completo... diseñado para la investigación histórica del texto en lingüística y filología sánscrita". [15]
Además de la investigación lingüística pura, los investigadores habían comenzado a aplicar la lingüística de corpus a otros campos académicos y profesionales, como la subdisciplina emergente de Derecho y Lingüística de Corpus , que busca comprender textos legales utilizando datos y herramientas de corpus. El DBLP Discovery Dataset se concentra en ciencias de la computación y contiene publicaciones científicas relevantes con metadatos sensibles, como afiliaciones de autores, citas o campos de estudio. [16] NLP Scholar, una combinación de artículos de ACL Anthology y metadatos de Google Scholar, introdujo un conjunto de datos más centrado . [17] Los corpora también pueden ayudar en los esfuerzos de traducción [18] o en la enseñanza de lenguas extranjeras. [19]
La lingüística de corpus ha generado una serie de métodos de investigación que intentan trazar un camino desde los datos hasta la teoría. Wallis y Nelson (2001) [20] introdujeron por primera vez lo que llamaron la perspectiva 3A: anotación, abstracción y análisis.
La mayoría de los corpus léxicos actuales están etiquetados como parte del discurso (POS-etiquetado). Sin embargo, incluso los lingüistas de corpus que trabajan con "texto plano sin anotaciones" inevitablemente aplican algún método para aislar términos destacados. En tales situaciones, la anotación y la abstracción se combinan en una búsqueda léxica.
La ventaja de publicar un corpus anotado es que otros usuarios pueden realizar experimentos en el corpus (a través de administradores de corpus ). Los lingüistas con otros intereses y perspectivas diferentes a las de los creadores pueden explotar este trabajo. Al compartir datos, los lingüistas de corpus pueden tratar el corpus como un lugar de debate lingüístico y estudios posteriores. [21]
Las series de libros en este campo incluyen:
Existen varias revistas internacionales revisadas por pares dedicadas a la lingüística de corpus, por ejemplo:
