_05.jpg/1280px-Metcalf_Research_Laboratory_(Brown)_05.jpg)
El Brown University Standard Corpus of Present-Day American English , más conocido simplemente como Brown Corpus , es una colección electrónica de muestras de textos del inglés estadounidense, el primer corpus estructurado importante de géneros variados. Este corpus estableció por primera vez el estándar para el estudio científico de la frecuencia y distribución de categorías de palabras en el uso cotidiano del lenguaje. Compilado por Henry Kučera y W. Nelson Francis en la Brown University , en Rhode Island , es un corpus de lenguaje general que contiene 500 muestras de inglés, con un total de aproximadamente un millón de palabras, compiladas a partir de obras publicadas en los Estados Unidos en 1961.
En 1967, Kučera y Francis publicaron su obra clásica, titulada "Análisis computacional del inglés americano actual" , que proporcionó estadísticas básicas sobre lo que hoy se conoce simplemente como el Corpus Brown . [1]
El Brown Corpus fue una selección cuidadosamente compilada del inglés estadounidense actual, con un total de aproximadamente un millón de palabras extraídas de una amplia variedad de fuentes. Kučera y Francis lo sometieron a una variedad de análisis computacionales, a partir de los cuales compilaron una obra rica y variada, que combina elementos de lingüística, psicología, estadística y sociología. Se ha utilizado ampliamente en lingüística computacional y durante muchos años fue uno de los recursos más citados en el campo. [2]
Poco después de la publicación del primer análisis lexicoestadístico , la editorial de Boston Houghton-Mifflin se puso en contacto con Kučera para que le proporcionara una base de citas de tres líneas y un millón de palabras para su nuevo American Heritage Dictionary . Este innovador diccionario, que apareció por primera vez en 1969, fue el primer diccionario que se compiló utilizando lingüística de corpus para la frecuencia de las palabras y otra información.
El Corpus Brown inicial solo contenía las palabras en sí, más un identificador de ubicación para cada una. Durante los años siguientes se aplicaron etiquetas de categorías gramaticales. El programa de etiquetado de Greene y Rubin (ver etiquetado de categorías gramaticales ) ayudó considerablemente en esto, pero la alta tasa de error significaba que se requería una extensa corrección manual.
El Corpus Brown etiquetado utilizó una selección de aproximadamente 80 partes del discurso, así como indicadores especiales para formas compuestas, contracciones, palabras extranjeras y algunos otros fenómenos, y formó el modelo para muchos corpus posteriores como el Corpus Lancaster-Oslo-Bergen (inglés británico de principios de la década de 1990) y el Corpus Freiburg-Brown de inglés americano (FROWN) (inglés americano de principios de la década de 1990). [3] [4] El etiquetado del corpus permitió un análisis estadístico mucho más sofisticado, como el trabajo programado por Andrew Mackie y documentado en libros sobre gramática inglesa. [5]
Un resultado interesante es que incluso para muestras bastante grandes, graficar las palabras en orden decreciente de frecuencia de ocurrencia muestra una hipérbola : la frecuencia de la n -ésima palabra más frecuente es aproximadamente proporcional a 1/ n . Así, "the" constituye casi el 7% del Brown Corpus, "to" y "of" más de otro 3% cada uno; mientras que aproximadamente la mitad del vocabulario total de unas 50.000 palabras son hapax legomena : palabras que aparecen solo una vez en el corpus. [6] Esta simple relación de rango versus frecuencia fue observada para una extraordinaria variedad de fenómenos por George Kingsley Zipf (por ejemplo, véase su The Psychobiology of Language ), y se conoce como la ley de Zipf .
Aunque el Corpus Brown fue pionero en el campo de la lingüística de corpus, a día de hoy los corpus típicos (como el Corpus of Contemporary American English , el Corpus Nacional Británico o el Corpus Internacional de Inglés ) tienden a ser mucho más grandes, del orden de 100 millones de palabras.
El corpus consta de 500 muestras, distribuidas en 15 géneros en proporción aproximada a la cantidad publicada en 1961 en cada uno de esos géneros. Todas las obras incluidas en la muestra se publicaron en 1961; hasta donde se pudo determinar, se publicaron por primera vez en esa fecha y fueron escritas por hablantes nativos de inglés estadounidense.
Cada muestra comenzaba en un límite de oración aleatorio en el artículo u otra unidad elegida y continuaba hasta el límite de la primera oración después de 2000 palabras. En muy pocos casos, los errores de recuento dieron lugar a muestras de poco menos de 2000 palabras.
La entrada original de datos se hacía en máquinas perforadoras que sólo aceptaban letras mayúsculas ; las mayúsculas se indicaban con un asterisco precedente, y varios elementos especiales, como fórmulas, también tenían códigos especiales.
El corpus original (1961) contenía 1.014.312 palabras extraídas de 15 categorías de texto: