Secuencias de elementos en lingüística computacional.
Seis n -gramas que se encuentran con frecuencia en títulos de publicaciones sobre la enfermedad del coronavirus 2019 (COVID-19), al 7 de mayo de 2020
Un n -grama es una secuencia de n símbolos adyacentes en un orden particular. Los símbolos pueden ser letras adyacentes ( incluidos signos de puntuación y espacios en blanco), sílabas o, rara vez, palabras completas que se encuentran en un conjunto de datos de un idioma; o fonemas adyacentes extraídos de un conjunto de datos de grabación de voz, o pares de bases adyacentes extraídos de un genoma. Se recogen a partir de un corpus de texto o corpus de habla . Si se utilizan prefijos numéricos latinos , entonces el n -gramo de tamaño 1 se llama "unigrama", el tamaño 2 " bigrama " (o, menos comúnmente, "digrama"), etc. Si, en lugar de los latinos, se utilizan los ingleses Luego se usan números cardinales , luego se les llama "cuatro gramos", "cinco gramos", etc. De manera similar, se usan prefijos numéricos griegos como "monómero", "dímero", "trímero", "tetrámero", "pentámero". ", etc., o números cardinales ingleses, "one-mer", "two-mer", "tres-mer", etc. se utilizan en biología computacional, para polímeros u oligómeros de tamaño conocido, llamados k -mers . Cuando los elementos son palabras, los n -gramas también pueden denominarse culebrilla . [1]
En el contexto de PNL , el uso de n -gramas permite que los modelos de bolsa de palabras capturen información como el orden de las palabras, lo que no sería posible en la configuración tradicional de bolsa de palabras.
Ejemplos
(Shannon 1951) [2] analizó los modelos de n -gramas del inglés. Por ejemplo:
Modelo de personaje de 3 gramos: en no ist lat whey cratict froure birs grocid pondenome de demonstures of the retagin is regiactiona of cre
Modelo de palabra de 2 gramos: la cabeza y el ataque frontal a un escritor inglés que el personaje de este punto es, por lo tanto, otro método para las cartas que el tiempo de quien alguna vez contó el problema por un inesperado
La Figura 1 muestra varias secuencias de ejemplo y las correspondientes secuencias de 1 gramo, 2 gramos y 3 gramos.
Aquí hay más ejemplos; estos son 3 gramos y 4 gramos a nivel de palabra (y el recuento del número de veces que aparecieron) del corpus de n -gramas de Google. [3]
3 gramos
coleccionables de cerámica coleccionables (55)
coleccionables de ceramica fina (130)
cerámica recolectada por (52)
cerámica cerámica de colección (50)
ceramica coleccionables cocina (45)
4 gramos
servir como entrante (92)
servir como incubadora (99)
servir como independiente (794)
servir como índice (223)
servir como indicación (72)
servir como indicador (120)
Referencias
^ Broder, Andrei Z.; Glassman, Steven C.; Manasse, Mark S.; Zweig, Geoffrey (1997). "Agrupación sintáctica de la web". Redes Informáticas y Sistemas RDSI . 29 (8): 1157-1166. doi :10.1016/s0169-7552(97)00031-7. S2CID 9022773.
^ Shannon, Claude E. "La redundancia del inglés". Cibernética; Transacciones de la Séptima Conferencia, Nueva York: Fundación Josiah Macy, Jr. . 1951.
^ Alex Franz y Thorsten Brants (2006). "Todos nuestros N-gram te pertenecen". Blog de investigación de Google . Archivado desde el original el 17 de octubre de 2006 . Consultado el 16 de diciembre de 2011 .
Otras lecturas
Christopher D. Manning, Hinrich Schütze, Fundamentos del procesamiento estadístico del lenguaje natural , MIT Press: 1999. ISBN 0-262-13360-1 .
Blanco, Owen; Dunning, Ted; Sutton, Granger; Adams, Marcos; Venter, J. Craig; Campos, Chris (1993). "Un algoritmo de control de calidad para proyectos de secuenciación de ADN". Investigación de ácidos nucleicos . 21 (16): 3829–3838. doi : 10.1093/nar/21.16.3829. PMC 309901 . PMID 8367301.
Frederick J. Damerau, Modelos de Markov y teoría lingüística . Moutón. La Haya, 1971.
Figueroa, Alejandro; Atkinson, John (2012). "Modelos de lenguaje contextual para clasificar respuestas a preguntas de definición de lenguaje natural". Inteligencia Computacional . 28 (4): 528–548. doi :10.1111/j.1467-8640.2012.00426.x. S2CID 27378409.
Brocardo, Marcelo Luiz; Issa Traoré; Sherif Saad; Isaac Woungang (2013). Verificación de autoría de mensajes cortos mediante estilometría (PDF) . Internacional IEEE Congreso sobre Sistemas Informáticos, de Información y Telecomunicaciones (CITS).
