Una lista de palabras (o léxico ) es una lista del léxico de una lengua (generalmente ordenada por frecuencia de aparición, ya sea por niveles o como una lista clasificada) dentro de un corpus de texto determinado , que sirve para la adquisición de vocabulario . Un léxico ordenado por frecuencia "ofrece una base racional para asegurarse de que los estudiantes obtengan el mejor rendimiento por su esfuerzo de aprendizaje de vocabulario" (Nation 1997), pero está destinado principalmente a los escritores de cursos, no directamente a los estudiantes. Las listas de frecuencia también se realizan con fines lexicográficos, y sirven como una especie de lista de verificación para garantizar que no se dejen afuera palabras comunes. Algunos de los principales escollos son el contenido del corpus, el registro del corpus y la definición de " palabra ". Si bien el conteo de palabras tiene mil años de antigüedad, y a mediados del siglo XX todavía se realizaban análisis gigantescos a mano, el procesamiento electrónico del lenguaje natural de grandes corpus como los subtítulos de películas (megaestudio SUBTLEX) ha acelerado el campo de investigación.
En lingüística computacional , una lista de frecuencias es una lista ordenada de palabras (tipos de palabras) junto con su frecuencia , donde frecuencia aquí generalmente significa el número de ocurrencias en un corpus dado , del cual se puede derivar el rango como la posición en la lista.
Nation (Nation 1997) destacó la increíble ayuda que brindan las capacidades informáticas, que hacen que el análisis de corpus sea mucho más fácil. Citó varias cuestiones clave que influyen en la construcción de listas de frecuencias:
La mayoría de los estudios disponibles actualmente se basan en corpus de textos escritos , más fácilmente disponibles y fáciles de procesar.
Sin embargo, New et al. 2007 propusieron aprovechar la gran cantidad de subtítulos disponibles en línea para analizar una gran cantidad de discursos. Brysbaert y New 2009 realizaron una larga evaluación crítica de este enfoque tradicional de análisis textual y apoyaron una tendencia hacia el análisis del habla y el análisis de los subtítulos de películas disponibles en línea. A esto le siguieron recientemente varios estudios de seguimiento [1] que proporcionaron un valioso análisis de recuento de frecuencias para varios idiomas. De hecho, el movimiento SUBTLEX completó en cinco años estudios completos para francés (New et al. 2007), inglés americano (Brysbaert y New 2009; Brysbaert, New y Keuleers 2012), holandés (Keuleers y New 2010), chino (Cai y Brysbaert 2010), español (Cuetos et al. 2011), griego (Dimitropoulou et al. 2010), vietnamita (Pham, Bolger y Baayen 2011), portugués de Brasil (Tang 2012) y portugués de Portugal (Soares et al. 2015), albanés (Avdyli y Cuetos 2013), polaco (Mandera et al. 2014) y catalán (2019 [2] ). SUBTLEX-IT (2015) proporciona solo datos brutos. [3]
En cualquier caso, se debe definir la unidad básica de "palabra". En el caso de los alfabetos latinos, las palabras suelen ser uno o varios caracteres separados por espacios o signos de puntuación, pero pueden surgir excepciones, como el "can't" en inglés, el "aujourd'hui" en francés o los modismos. También puede ser preferible agrupar las palabras de una familia de palabras bajo la representación de su palabra base . Así, posible, imposible, posibilidad son palabras de la misma familia de palabras, representadas por la palabra base *possib* . A efectos estadísticos, todas estas palabras se suman bajo la forma de palabra base *possib*, lo que permite la clasificación de la ocurrencia de un concepto y una forma. Además, otros idiomas pueden presentar dificultades específicas. Tal es el caso del chino, que no utiliza espacios entre palabras, y donde una cadena específica de varios caracteres puede interpretarse como una frase de palabras de un solo carácter o como una palabra de varios caracteres.
Parece que la ley de Zipf se cumple para las listas de frecuencias extraídas de textos más largos de cualquier lengua natural. Las listas de frecuencias son una herramienta útil para la creación de un diccionario electrónico, lo cual es un requisito previo para una amplia gama de aplicaciones en lingüística computacional .
Los lingüistas alemanes definen la Häufigkeitsklasse (clase de frecuencia) de un elemento de la lista utilizando el logaritmo en base 2 de la relación entre su frecuencia y la frecuencia del elemento más frecuente. El elemento más común pertenece a la clase de frecuencia 0 (cero) y cualquier elemento que sea aproximadamente la mitad de frecuente pertenece a la clase 1. En la lista de ejemplo anterior, la palabra mal escrita outragious tiene una relación de 76/3789654 y pertenece a la clase 16.
¿Dónde está la función de piso ?
Las listas de frecuencias, junto con las redes semánticas , se utilizan para identificar los términos especializados menos comunes que se reemplazarán por sus hiperónimos en un proceso de compresión semántica .
Estas listas no están destinadas a ser entregadas directamente a los estudiantes, sino más bien a servir como guía para los profesores y los autores de libros de texto (Nation 1997). El resumen de enseñanza de lenguas modernas de Paul Nation alienta primero a "pasar del vocabulario de alta frecuencia y el vocabulario de propósitos especiales [temático] al vocabulario de baja frecuencia, y luego enseñar a los estudiantes estrategias para sostener la expansión autónoma del vocabulario" (Nation 2006).
Se sabe que la frecuencia de las palabras tiene diversos efectos (Brysbaert et al., 2011; Rudell, 1993). La memorización se ve afectada positivamente por una mayor frecuencia de palabras, probablemente porque el alumno está sujeto a más exposiciones (Laufer, 1997). El acceso léxico se ve influenciado positivamente por una alta frecuencia de palabras, un fenómeno llamado efecto de frecuencia de palabras (Segui et al.). El efecto de la frecuencia de palabras está relacionado con el efecto de la edad de adquisición , la edad a la que se aprendió la palabra.
A continuación se muestra una revisión de los recursos disponibles.
El conteo de palabras es un campo antiguo, [4] con discusiones conocidas que se remontan a la época helenística . En 1944, Edward Thorndike , Irvin Lorge y colegas [5] contaron a mano 18.000.000 de palabras consecutivas para proporcionar la primera lista de frecuencia del idioma inglés a gran escala, antes de que las computadoras modernas hicieran que tales proyectos fueran mucho más fáciles (Nation 1997). Todas las obras del siglo XX sufren por su antigüedad. En particular, las palabras relacionadas con la tecnología, como "blog", que, en 2014, estaba en el puesto 7665 en frecuencia [6] en el Corpus of Contemporary American English, [7] fue atestiguada por primera vez en 1999, [8] [9] [10] y no aparece en ninguna de estas tres listas.
El Teacher Word Book contiene 30.000 lemas o unas 13.000 familias de palabras (Goulden, Nation y Read, 1990). Se analizó a mano un corpus de 18 millones de palabras escritas. El tamaño de su corpus fuente aumentó su utilidad, pero su antigüedad y los cambios lingüísticos redujeron su aplicabilidad (Nation 1997).
La Lista de Servicios Generales contiene 2.000 palabras clave divididas en dos conjuntos de 1.000 palabras. En la década de 1940 se analizó un corpus de 5 millones de palabras escritas. Se proporciona la tasa de ocurrencia (%) de diferentes significados y partes del discurso de la palabra clave. Se aplicaron cuidadosamente al corpus varios criterios, además de la frecuencia y el rango. Por lo tanto, a pesar de su antigüedad, algunos errores y el hecho de que su corpus esté compuesto completamente de texto escrito, sigue siendo una excelente base de datos de frecuencia de palabras, frecuencia de significados y reducción de ruido (Nation 1997). Esta lista fue actualizada en 2013 por el Dr. Charles Browne, el Dr. Brent Culligan y Joseph Phillips como la Nueva Lista de Servicios Generales .
Un corpus de 5 millones de palabras en uso, extraído de textos escritos utilizados en escuelas de Estados Unidos (varios grados, diversas áreas temáticas). Su valor radica en que se centra en los materiales de enseñanza escolar y en que etiqueta las palabras según la frecuencia de cada una de ellas, en cada uno de los grados escolares y en cada una de las áreas temáticas (Nation 1997).
En la actualidad, estas fuentes contienen un millón de palabras de un corpus escrito que representa diferentes dialectos del inglés. Estas fuentes se utilizan para producir listas de frecuencias (Nation 1997).
New & Pallier han realizado una revisión. En los años 1950 y 1960 se realizó un intento con el Français fondamental. Incluye la lista FF1 con 1.500 palabras de alta frecuencia, completada por una lista posterior FF2 con 1.700 palabras de frecuencia media y las reglas sintácticas más utilizadas. [11] Se afirma que 70 palabras gramaticales constituyen el 50% de la oración comunicativa, [12] [13] mientras que 3.680 palabras representan alrededor del 95~98% de la cobertura. [14] Hay disponible una lista de 3.000 palabras frecuentes. [15]
El Ministerio de Educación francés también ofrece una lista clasificada de las 1.500 familias de palabras más frecuentes , proporcionada por el lexicólogo Étienne Brunet. [16] Jean Baudot realizó un estudio siguiendo el modelo del estudio americano Brown, titulado "Fréquences d'utilisation des mots en français écrit contemporain". [17]
Más recientemente, el proyecto Lexique3 proporciona 142.000 palabras en francés, con ortografía , fonética , silabación, categoría gramatical , género , número de ocurrencia en el corpus fuente, rango de frecuencia, lexemas asociados , etc., disponibles bajo una licencia abierta CC-by-sa-4.0 . [18]
Este Lexique3 es un estudio continuo del que se originó el movimiento Subtlex citado anteriormente. New et al. 2007 realizó un recuento completamente nuevo basado en los subtítulos de películas en línea.
Se han realizado varios estudios sobre la frecuencia de palabras en español (Cuetos et al. 2011). [19]
Los corpus chinos se han estudiado desde hace mucho tiempo desde la perspectiva de las listas de frecuencias. La forma histórica de aprender vocabulario chino se basa en la frecuencia de caracteres (Allanic 2003). El sinólogo estadounidense John DeFrancis mencionó su importancia para el aprendizaje y la enseñanza del chino como lengua extranjera en Why Johnny Can't Read Chinese (DeFrancis 1966). Como conjunto de herramientas de frecuencia, Da (Da 1998) y el Ministerio de Educación de Taiwán (TME 1997) proporcionaron grandes bases de datos con rangos de frecuencia para caracteres y palabras. La lista HSK de 8.848 palabras de alta y media frecuencia en la República Popular China , y la lista TOP de la República de China (Taiwán) de aproximadamente 8.600 palabras tradicionales chinas comunes son otras dos listas que muestran palabras y caracteres chinos comunes. Siguiendo el movimiento SUBTLEX, Cai & Brysbaert 2010 realizaron recientemente un rico estudio de las frecuencias de palabras y caracteres chinos.
Wikcionario:Listas de frecuencias contiene listas de frecuencias en más idiomas. [20]
Palabras más utilizadas en diferentes idiomas según Wikipedia o corpus combinados. [21]
{{citation}}: CS1 maint: multiple names: authors list (link){{citation}}: CS1 maint: DOI inactive as of August 2024 (link)