En lingüística , la semántica estadística aplica los métodos de la estadística al problema de determinar el significado de palabras o frases, idealmente a través del aprendizaje no supervisado , hasta un grado de precisión al menos suficiente para el propósito de la recuperación de información .
Historia
El término semántica estadística fue utilizado por primera vez por Warren Weaver en su conocido artículo sobre traducción automática . [1] Sostuvo que la desambiguación del sentido de las palabras para la traducción automática debería basarse en la frecuencia de coocurrencia de las palabras del contexto cerca de una palabra de destino determinada. La suposición subyacente de que "una palabra se caracteriza por la compañía que mantiene" fue defendida por JR Firth . [2] Esta suposición se conoce en lingüística como la hipótesis distributiva . [3] Emile Delavenay definió la semántica estadística como el "estudio estadístico de los significados de las palabras y su frecuencia y orden de recurrencia". [4] " Furnas et al. 1983" se cita con frecuencia como una contribución fundamental a la semántica estadística. [5] Un éxito temprano en el campo fue el análisis semántico latente .
Aplicaciones
La investigación en semántica estadística ha dado como resultado una amplia variedad de algoritmos que utilizan la hipótesis distributiva para descubrir muchos aspectos de la semántica , mediante la aplicación de técnicas estadísticas a grandes corpus :
- Medición de la similitud en los significados de las palabras [6] [7] [8] [9]
- Medición de la similitud en las relaciones entre palabras [10]
- Modelado de generalización basada en similitud [11]
- Descubrimiento de palabras con una relación dada [12]
- Relaciones de clasificación entre palabras [13]
- Extracción de palabras clave de documentos [14] [15]
- Medición de la cohesión del texto [16]
- Descubriendo los diferentes sentidos de las palabras [17]
- Distinguir los diferentes sentidos de las palabras [18]
- Aspectos subcognitivos de las palabras [19]
- Distinguir elogios de críticas [20]
Campos relacionados
La semántica estadística se centra en los significados de palabras comunes y las relaciones entre palabras comunes, a diferencia de la minería de texto , que tiende a centrarse en documentos completos, colecciones de documentos o entidades con nombre (nombres de personas, lugares y organizaciones). La semántica estadística es un subcampo de la semántica computacional , que a su vez es un subcampo de la lingüística computacional y el procesamiento del lenguaje natural .
Muchas de las aplicaciones de la semántica estadística (enumeradas anteriormente) también pueden abordarse mediante algoritmos basados en léxicos , en lugar de los algoritmos basados en corpus de la semántica estadística. Una ventaja de los algoritmos basados en corpus es que normalmente no requieren tanto trabajo como los algoritmos basados en léxicos. Otra ventaja es que suelen ser más fáciles de adaptar a nuevos idiomas o nuevos tipos de texto más ruidosos, por ejemplo, de las redes sociales, que los algoritmos basados en léxicos. [21] Sin embargo, el mejor rendimiento en una aplicación a menudo se logra combinando los dos enfoques. [22]
Véase también
Referencias
- ^ Tejedor 1955
- ^ Firth 1957
- ^ Sahlgren 2008
- ^ Delavenay 1960
- ^ Furnas y otros 1983
- ^ Lund, Burgess y Atchley 1995
- ^ Landauer y Dumais 1997
- ^ McDonald y Ramscar 2001
- ^ Terra y Clarke 2003
- ^ Turney 2006
- ^ Yarlett 2008
- ^ Hearst 1992
- ^ Turney y Littman 2005
- ^ Frank y otros 1999
- ^ Turney 2000
- ^ Turney 2003
- ^ Pantel y Lin 2002
- ^ Turney 2004
- ^ Turney 2001
- ^ Turney y Littman 2003
- ^ Sahlgren y Karlgren 2009
- ^ Turney y otros, 2003
Fuentes
- Delavenay, Emile (1960). Introducción a la traducción automática . Nueva York, NY: Thames and Hudson . OCLC 1001646.
- Firth, John R. (1957). "Una sinopsis de la teoría lingüística 1930-1955". Estudios de análisis lingüístico . Oxford: Philological Society : 1–32.
- Reimpreso en Palmer, FR, ed. (1968). Documentos seleccionados de JR Firth 1952-1959 . Londres: Longman. OCLC 123573912.
- Frank, Eibe; Paynter, Gordon W.; Witten, Ian H.; Gutwin, Carl; Nevill-Manning, Craig G. (1999). "Extracción de frases clave específicas de dominio". Actas de la Decimosexta Conferencia Conjunta Internacional sobre Inteligencia Artificial . IJCAI-99 . Vol. 2. California: Morgan Kaufmann. págs. 668–673. CiteSeerX 10.1.1.148.3598 . ISBN. 1-55860-613-0.
- Furnas, George W. ; Landauer, TK; Gomez, LM; Dumais, ST (1983). "Semántica estadística: análisis del rendimiento potencial de los sistemas de información de palabras clave" (PDF) . Bell System Technical Journal . 62 (6): 1753–1806. doi :10.1002/j.1538-7305.1983.tb03513.x. S2CID 22483184. Archivado desde el original (PDF) el 2016-03-04 . Consultado el 2012-07-12 .
- Hearst, Marti A. (1992). "Adquisición automática de hipónimos a partir de corpus textuales extensos" (PDF) . Actas de la decimocuarta conferencia internacional sobre lingüística computacional . COLING '92. Nantes, Francia. págs. 539–545. CiteSeerX 10.1.1.36.701 . doi :10.3115/992133.992154. Archivado desde el original (PDF) el 22 de mayo de 2012. Consultado el 12 de julio de 2012 .
- Landauer, Thomas K.; Dumais, Susan T. (1997). "Una solución al problema de Platón: la teoría del análisis semántico latente de la adquisición, inducción y representación del conocimiento". Psychological Review . 104 (2): 211–240. CiteSeerX 10.1.1.184.4759 . doi :10.1037/0033-295x.104.2.211. S2CID 1144461.
- Lund, Kevin; Burgess, Curt; Atchley, Ruth Ann (1995). "Priming semántico y asociativo en el espacio semántico de alta dimensión" (PDF) . Actas de la 17.ª Conferencia Anual de la Cognitive Science Society . Cognitive Science Society . págs. 660–665.[ enlace muerto permanente ]
- McDonald, Scott; Ramscar, Michael (2001). "Prueba de la hipótesis distributiva: la influencia del contexto en los juicios de similitud semántica". Actas de la 23.ª Conferencia Anual de la Sociedad de Ciencias Cognitivas . pp. 611–616. CiteSeerX 10.1.1.104.7535 .
- Pantel, Patrick; Lin, Dekang (2002). "Descubrimiento de los sentidos de las palabras a partir del texto". Actas de la Conferencia ACM SIGKDD sobre descubrimiento de conocimientos y minería de datos . KDD '02 . págs. 613–619. CiteSeerX 10.1.1.12.6771 . doi :10.1145/775047.775138. ISBN . 1-58113-567-X.
- Sahlgren, Magnus (2008). "La hipótesis distributiva" (PDF) . Rivista di Linguistica . 20 (1): 33–53. Archivado desde el original (PDF) el 2012-03-15 . Consultado el 2012-11-20 .
- Sahlgren, Magnus ; Karlgren, Jussi (2009). Minería terminológica en las redes sociales. CIKM '09: Actas de la 18.ª conferencia de la ACM sobre gestión de la información y el conocimiento. doi :10.1145/1645953.1646006.
- Terra, Egidio L.; Clarke, Charles LA (2003). "Estimaciones de frecuencia para medidas estadísticas de similitud de palabras" (PDF) . Actas de la Conferencia de Tecnología del Lenguaje Humano y Capítulo Norteamericano de la Asociación de Lingüística Computacional de 2003. HLT/NAACL 2003. págs. 244–251. CiteSeerX 10.1.1.12.9041 . doi :10.3115/1073445.1073477. Archivado desde el original (PDF) el 2013-11-03 . Consultado el 2012-07-12 .
- Turney, Peter D. (mayo de 2000). "Algoritmos de aprendizaje para la extracción de frases clave". Recuperación de información . 2 (4): 303–336. arXiv : cs/0212020 . CiteSeerX 10.1.1.11.1829 . doi :10.1023/A:1009976227802. S2CID 7007323.
- Turney, Peter D. (2001). "Respuestas a preguntas subcognitivas del test de Turing: una respuesta a French". Revista de inteligencia artificial experimental y teórica . 13 (4): 409–419. arXiv : cs/0212015 . CiteSeerX 10.1.1.12.8734 . doi :10.1080/09528130110100270. S2CID 59099.
- Turney, Peter D. (2003). "Extracción coherente de frases clave mediante minería web". Actas de la decimoctava conferencia conjunta internacional sobre inteligencia artificial . IJCAI-03. Acapulco, México. pp. 434–439. arXiv : cs/0308033 . Bibcode :2003cs........8033T. CiteSeerX 10.1.1.100.3751 .
- Turney, Peter D. (2004). "Desambiguación del sentido de las palabras mediante minería web para determinar las probabilidades de coocurrencia de palabras". Actas del Tercer Taller Internacional sobre la Evaluación de Sistemas para el Análisis Semántico de Textos . SENSEVAL-3. Barcelona, España. pp. 239–242. arXiv : cs/0407065 . Bibcode :2004cs........7065T.
- Turney, Peter D. (2006). "Similitud de relaciones semánticas". Computational Linguistics . 32 (3): 379–416. arXiv : cs/0608100 . Bibcode :2006cs........8100T. CiteSeerX 10.1.1.75.8007 . doi :10.1162/coli.2006.32.3.379. S2CID 2468783.
- Turney, Peter D.; Littman, Michael L. (octubre de 2003). "Medición de elogios y críticas: inferencia de orientación semántica a partir de la asociación". ACM Transactions on Information Systems . 21 (4): 315–346. arXiv : cs/0309034 . Bibcode :2003cs........9034T. CiteSeerX 10.1.1.9.6425 . doi :10.1145/944012.944013. S2CID 2024.
- Turney, Peter D.; Littman, Michael L. (2005). "Aprendizaje basado en corpus de analogías y relaciones semánticas". Aprendizaje automático . 60 (1–3): 251–278. arXiv : cs/0508103 . Código Bibliográfico :2005cs........8103T. CiteSeerX 10.1.1.90.9819 . doi :10.1007/s10994-005-0913-1. S2CID 9322367.
- Turney, Peter D.; Littman, Michael L.; Bigham, Jeffrey; Shnayder, Victor (2003). "Combinación de módulos independientes para resolver problemas de sinónimos y analogías de opción múltiple". Actas de la Conferencia internacional sobre avances recientes en el procesamiento del lenguaje natural . RANLP-03. Borovets , Bulgaria. págs. 482–489. arXiv : cs/0309035 . Código Bibliográfico :2003cs........9035T. CiteSeerX 10.1.1.5.2939 .
- Weaver, Warren (1955). "Traducción" (PDF) . En Locke, WN; Booth, DA (eds.). Traducción automática de idiomas . Cambridge, Massachusetts : MIT Press . pp. 15–23. ISBN. 0-8371-8434-7Archivado desde el original (PDF) el 29 de enero de 2019. Consultado el 12 de julio de 2012 .
- Yarlett, Daniel G. (2008). Aprendizaje de idiomas mediante generalización basada en similitudes (PDF) (tesis doctoral). Universidad de Stanford. Archivado desde el original (PDF) el 19 de abril de 2014.
