stringtranslate.com

Incrustación de palabras

En el procesamiento del lenguaje natural (PLN), una incrustación de palabras es una representación de una palabra. La incrustación se utiliza en el análisis de texto. Normalmente, la representación es un vector de valor real que codifica el significado de la palabra de tal manera que se espera que las palabras que están más cerca en el espacio vectorial tengan un significado similar. [1] Las incrustaciones de palabras se pueden obtener utilizando técnicas de modelado del lenguaje y aprendizaje de características , donde las palabras o frases del vocabulario se asignan a vectores de números reales .

Los métodos para generar este mapeo incluyen redes neuronales , [2] reducción de dimensionalidad en la matriz de co-ocurrencia de palabras , [3] [4] [5] modelos probabilísticos, [6] método de base de conocimiento explicable, [7] y representación explícita en términos del contexto en el que aparecen las palabras. [8]

Se ha demostrado que las incrustaciones de palabras y frases, cuando se utilizan como representación de entrada subyacente, mejoran el rendimiento en tareas de PNL como el análisis sintáctico [9] y el análisis de sentimientos . [10]

Desarrollo e historia del enfoque

En la semántica distribucional , un enfoque metodológico cuantitativo para comprender el significado en el lenguaje observado, las incrustaciones de palabras o los modelos de espacio de características semánticas se han utilizado como una representación del conocimiento durante algún tiempo. [11] Dichos modelos apuntan a cuantificar y categorizar las similitudes semánticas entre elementos lingüísticos en función de sus propiedades distributivas en grandes muestras de datos lingüísticos. La idea subyacente de que "una palabra se caracteriza por la compañía que mantiene" fue propuesta en un artículo de 1957 por John Rupert Firth , [12] pero también tiene raíces en el trabajo contemporáneo sobre sistemas de búsqueda [13] y en la psicología cognitiva. [14]

La noción de un espacio semántico con elementos léxicos (palabras o términos de varias palabras) representados como vectores o incrustaciones se basa en los desafíos computacionales de capturar características distribucionales y usarlas para aplicaciones prácticas para medir la similitud entre palabras, frases o documentos completos. La primera generación de modelos de espacio semántico es el modelo de espacio vectorial para la recuperación de información. [15] [16] [17] Dichos modelos de espacio vectorial para palabras y sus datos distribucionales implementados en su forma más simple dan como resultado un espacio vectorial muy disperso de alta dimensionalidad (cf. la maldición de la dimensionalidad ). La reducción del número de dimensiones utilizando métodos algebraicos lineales como la descomposición en valores singulares condujo luego a la introducción del análisis semántico latente a fines de la década de 1980 y al enfoque de indexación aleatoria para recopilar contextos de coocurrencia de palabras. [18] [19] [20] [21] En 2000, Bengio et al. Se proporciona en una serie de artículos titulados "Modelos de lenguaje probabilísticos neuronales" para reducir la alta dimensionalidad de las representaciones de palabras en contextos mediante el "aprendizaje de una representación distribuida para palabras". [22] [23] [24]

Un estudio publicado en NeurIPS (NIPS) 2002 introdujo el uso de incrustaciones de palabras y documentos aplicando el método de CCA de núcleo a corpus bilingües (y multilingües), proporcionando también un ejemplo temprano de aprendizaje autosupervisado de incrustaciones de palabras [25].

Las incrustaciones de palabras se presentan en dos estilos diferentes, uno en el que las palabras se expresan como vectores de palabras que ocurren al mismo tiempo, y otro en el que las palabras se expresan como vectores de contextos lingüísticos en los que ocurren las palabras; estos diferentes estilos se estudian en Lavelli et al., 2004. [26] Roweis y Saul publicaron en Science cómo usar la " incrustación lineal local " (LLE) para descubrir representaciones de estructuras de datos de alta dimensión. [27] La ​​mayoría de las nuevas técnicas de incrustación de palabras después de aproximadamente 2005 se basan en una arquitectura de red neuronal en lugar de modelos más probabilísticos y algebraicos, después del trabajo fundacional realizado por Yoshua Bengio [28] [ referencia circular ] y colegas. [29] [30]

Este enfoque ha sido adoptado por muchos grupos de investigación después de que en 2010 se hicieran avances teóricos sobre la calidad de los vectores y la velocidad de entrenamiento del modelo, así como después de que los avances en hardware permitieran explorar de manera rentable un espacio de parámetros más amplio. En 2013, un equipo de Google dirigido por Tomas Mikolov creó word2vec , un kit de herramientas de incrustación de palabras que puede entrenar modelos de espacio vectorial más rápido que los enfoques anteriores. El enfoque word2vec se ha utilizado ampliamente en la experimentación y fue fundamental para despertar el interés por las incrustaciones de palabras como tecnología, trasladando la línea de investigación de la investigación especializada a una experimentación más amplia y, finalmente, allanando el camino para la aplicación práctica. [31]

Polisemia y homonimia

Históricamente, una de las principales limitaciones de las incrustaciones de palabras estáticas o de los modelos de espacio vectorial de palabras es que las palabras con múltiples significados se fusionan en una única representación (un único vector en el espacio semántico). En otras palabras, la polisemia y la homonimia no se manejan adecuadamente. Por ejemplo, en la oración "¡El club que probé ayer era genial!", no está claro si el término club está relacionado con el sentido de la palabra sándwich club , casa club , club de golf o cualquier otro sentido que pueda tener club . La necesidad de dar cabida a múltiples significados por palabra en diferentes vectores (incrustaciones multisentido) es la motivación de varias contribuciones en PNL para dividir las incrustaciones de un solo sentido en incrustaciones multisentido. [32] [33]

La mayoría de los enfoques que producen incrustaciones de múltiples sentidos se pueden dividir en dos categorías principales para su representación del sentido de las palabras, es decir, no supervisadas y basadas en el conocimiento. [34] Basado en word2vec skip-gram, Multi-Sense Skip-Gram (MSSG) [35] realiza la discriminación y la incrustación del sentido de las palabras simultáneamente, mejorando su tiempo de entrenamiento, mientras que asume un número específico de sentidos para cada palabra. En el Non-Parametric Multi-Sense Skip-Gram (NP-MSSG) este número puede variar dependiendo de cada palabra. Combinando el conocimiento previo de bases de datos léxicas (por ejemplo, WordNet , ConceptNet , BabelNet ), incrustaciones de palabras y desambiguación del sentido de las palabras , Most Suitable Sense Annotation (MSSA) [36] etiqueta los sentidos de las palabras a través de un enfoque no supervisado y basado en el conocimiento, considerando el contexto de una palabra en una ventana deslizante predefinida. Una vez que se desambiguan las palabras, se pueden utilizar en una técnica estándar de incrustación de palabras, de modo que se produzcan incrustaciones multisentido. La arquitectura MSSA permite que el proceso de desambiguación y anotación se realice de forma recurrente de manera automejorada. [37]

Se sabe que el uso de incrustaciones multisensoriales mejora el rendimiento en varias tareas de PNL, como el etiquetado de partes del discurso , la identificación de relaciones semánticas, la relación semántica , el reconocimiento de entidades nombradas y el análisis de sentimientos. [38] [39]

A finales de la década de 2010, se han desarrollado incrustaciones contextualmente significativas como ELMo y BERT . [40] A diferencia de las incrustaciones de palabras estáticas, estas incrustaciones se realizan a nivel de token, en el sentido de que cada ocurrencia de una palabra tiene su propia incrustación. Estas incrustaciones reflejan mejor la naturaleza multisentimental de las palabras, porque las ocurrencias de una palabra en contextos similares están situadas en regiones similares del espacio de incrustación de BERT. [41] [42]

Para secuencias biológicas: BioVectors

Asgari y Mofrad han propuesto incrustaciones de palabras para n- gramas en secuencias biológicas (por ejemplo, ADN, ARN y proteínas) para aplicaciones bioinformáticas . [43] Denominados biovectores (BioVec) para referirse a secuencias biológicas en general con vectores de proteínas (ProtVec) para proteínas (secuencias de aminoácidos) y vectores de genes (GeneVec) para secuencias de genes, esta representación puede usarse ampliamente en aplicaciones de aprendizaje profundo en proteómica y genómica . Los resultados presentados por Asgari y Mofrad [43] sugieren que los BioVectors pueden caracterizar secuencias biológicas en términos de interpretaciones bioquímicas y biofísicas de los patrones subyacentes.

Diseño de juegos

Rabii y Cook [44] propusieron incrustaciones de palabras con aplicaciones en el diseño de juegos como una forma de descubrir jugabilidad emergente utilizando registros de datos de juego. El proceso requiere transcribir acciones que ocurren durante un juego dentro de un lenguaje formal y luego usar el texto resultante para crear incrustaciones de palabras. Los resultados presentados por Rabii y Cook [44] sugieren que los vectores resultantes pueden capturar conocimiento experto sobre juegos como el ajedrez que no se establece explícitamente en las reglas del juego.

Incrustaciones de oraciones

La idea se ha extendido a la incorporación de oraciones completas o incluso documentos, por ejemplo, en forma del concepto de vectores de pensamiento . En 2015, algunos investigadores sugirieron "vectores de pensamiento salteado" como un medio para mejorar la calidad de la traducción automática . [45] Un enfoque más reciente y popular para representar oraciones es Sentence-BERT, o SentenceTransformers, que modifica BERT preentrenado con el uso de estructuras de red siamesas y tripletes. [46]

Software

El software para entrenar y usar incrustaciones de palabras incluye Word2vec de Tomáš Mikolov , GloVe de la Universidad de Stanford , [47] GN-GloVe, [48] incrustaciones de Flair, [38] ELMo de AllenNLP , [49] BERT , [50] fastText , Gensim , [51] Indra, [52] y Deeplearning4j . El análisis de componentes principales (PCA) y la incrustación vecina estocástica distribuida en T (t-SNE) se utilizan para reducir la dimensionalidad de los espacios vectoriales de palabras y visualizar incrustaciones de palabras y clústeres . [53]

Ejemplos de aplicación

Por ejemplo, fastText también se utiliza para calcular incrustaciones de palabras para corpus de texto en Sketch Engine que están disponibles en línea. [54]

Implicaciones éticas

Las incrustaciones de palabras pueden contener los sesgos y estereotipos contenidos en el conjunto de datos entrenado, como señala Bolukbasi et al. en el artículo de 2016 “Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings” (“¿El ​​hombre es al programador de computadoras lo que la mujer es al ama de casa? Eliminación de sesgos de las incrustaciones de palabras”), que indica que una incrustación de word2vec disponible públicamente (y popular) entrenada en textos de Google News (un corpus de datos de uso común), que consiste en texto escrito por periodistas profesionales, aún muestra asociaciones de palabras desproporcionadas que reflejan sesgos de género y raciales al extraer analogías de palabras. [55] Por ejemplo, una de las analogías generadas utilizando la incrustación de palabras antes mencionada es “el hombre es al programador de computadoras lo que la mujer es al ama de casa”. [56] [57]

La investigación realizada por Jieyu Zhou et al. muestra que las aplicaciones de estas incrustaciones de palabras entrenadas sin una supervisión cuidadosa probablemente perpetúen el sesgo existente en la sociedad, que se introduce a través de datos de entrenamiento inalterados. Además, las incrustaciones de palabras pueden incluso amplificar estos sesgos. [58] [59]

Véase también

Referencias

  1. ^ Jurafsky, Daniel; H. James, Martin (2000). Procesamiento del habla y del lenguaje: una introducción al procesamiento del lenguaje natural, la lingüística computacional y el reconocimiento del habla. Upper Saddle River, NJ: Prentice Hall. ISBN 978-0-13-095069-7.
  2. ^ Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013). "Representaciones distribuidas de palabras y frases y su composicionalidad". arXiv : 1310.4546 [cs.CL].
  3. ^ Lebret, Rémi; Collobert, Ronan (2013). "Embellecimiento de palabras mediante Hellinger PCA". Conferencia del Capítulo Europeo de la Asociación de Lingüística Computacional (EACL) . Vol. 2014. arXiv : 1312.5542 .
  4. ^ Levy, Omer; Goldberg, Yoav (2014). Incrustación de palabras neuronales como factorización matricial implícita (PDF) . NIPS.
  5. ^ Li, Yitan; Xu, Linli (2015). Incorporación de palabras revisitada: una nueva perspectiva de aprendizaje de representaciones y factorización de matrices explícitas (PDF) . Int'l J. Conf. on Artificial Intelligence (IJCAI).
  6. ^ Globerson, Amir (2007). "Incorporación euclidiana de datos de coocurrencia" (PDF) . Revista de investigación en aprendizaje automático .
  7. ^ Qureshi, M. Atif; Greene, Derek (4 de junio de 2018). "EVE: técnica de incrustación basada en vectores explicable usando Wikipedia". Revista de sistemas de información inteligente . 53 : 137–165. arXiv : 1702.06891 . doi :10.1007/s10844-018-0511-x. ISSN  0925-9902. S2CID  10656055.
  8. ^ Levy, Omer; Goldberg, Yoav (2014). Regularidades lingüísticas en representaciones de palabras dispersas y explícitas (PDF) . CoNLL. págs. 171–180.
  9. ^ Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). Análisis sintáctico con gramáticas vectoriales compositivas (PDF) . Proc. ACL Conf. Archivado desde el original (PDF) el 2016-08-11 . Consultado el 2014-08-14 .
  10. ^ Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris (2013). Modelos profundos recursivos para la composicionalidad semántica sobre un banco de árboles de sentimientos (PDF) . EMNLP.
  11. ^ Sahlgren, Magnus. "Una breve historia de las incrustaciones de palabras".
  12. ^ Firth, JR (1957). "Una sinopsis de la teoría lingüística 1930-1955". Estudios de análisis lingüístico : 1–32.Reimpreso en FR Palmer, ed. (1968). Documentos seleccionados de JR Firth 1952–1959 . Londres: Longman.
  13. ^ Luhn, HP (1953). "Un nuevo método de registro y búsqueda de información". American Documentation . 4 : 14–16. doi :10.1002/asi.5090040104.
  14. ^ Osgood, CE; Suci, GJ; Tannenbaum, PH (1957). La medición del significado . Prensa de la Universidad de Illinois.
  15. ^ Salton, Gerard (1962). "Algunos experimentos en la generación de asociaciones de palabras y documentos". Actas de la conferencia conjunta sobre informática del 4 al 6 de diciembre de 1962, otoño, AFIPS '62 (otoño) . pp. 234–250. doi : 10.1145/1461518.1461544 . ISBN . 9781450378796.S2CID 9937095  .
  16. ^ Salton, Gerard; Wong, A; Yang, CS (1975). "Un modelo de espacio vectorial para indexación automática". Comunicaciones de la ACM . 18 (11): 613–620. doi :10.1145/361219.361220. hdl : 1813/6057 . S2CID  6473756.
  17. ^ Dubin, David (2004). «El artículo más influyente que Gerard Salton nunca escribió». Archivado desde el original el 18 de octubre de 2020. Consultado el 18 de octubre de 2020 .
  18. ^ Kanerva, Pentti, Kristoferson, Jan y Holst, Anders (2000): Indexación aleatoria de muestras de texto para análisis semántico latente, Actas de la 22ª Conferencia Anual de la Sociedad de Ciencias Cognitivas, pág. 1036. Mahwah, Nueva Jersey: Erlbaum, 2000.
  19. ^ Karlgren, Jussi; Sahlgren, Magnus (2001). Uesaka, Yoshinori; Kanerva, Pentti; Asoh, Hideki (eds.). "De las palabras a la comprensión". Fundamentos de la inteligencia en el mundo real . Publicaciones del CSLI: 294–308.
  20. ^ Sahlgren, Magnus (2005) Introducción a la indexación aleatoria, Actas del taller sobre métodos y aplicaciones de indexación semántica de la 7.ª Conferencia internacional sobre terminología e ingeniería del conocimiento, TKE 2005, 16 de agosto, Copenhague, Dinamarca
  21. ^ Sahlgren, Magnus, Holst, Anders y Pentti Kanerva (2008) Permutaciones como medio para codificar el orden en el espacio de palabras, en Actas de la 30.ª Conferencia Anual de la Sociedad de Ciencias Cognitivas: 1300-1305.
  22. ^ Bengio, Yoshua; Réjean, Ducharme; Pascal, Vincent (2000). "Un modelo probabilístico neuronal del lenguaje" (PDF) . NeurIPS .
  23. ^ Bengio, Yoshua ; Ducharme, Réjean; Vincent, Pascal; Jauvin, Christian (2003). "Un modelo de lenguaje probabilístico neuronal" (PDF) . Revista de investigación en aprendizaje automático . 3 : 1137–1155.
  24. ^ Bengio, Yoshua; Schwenk, Holger; Senécal, Jean-Sébastien; Morin, Federico; Gauvain, Jean-Luc (2006). "Un modelo de lenguaje probabilístico neuronal". Estudios en Borrosidad y Computación Blanda . vol. 194. Saltador. págs. 137–186. doi :10.1007/3-540-33486-6_6. ISBN 978-3-540-30609-2.
  25. ^ Vinkourov, Alexei; Cristianini, Nello; Shawe-Taylor, John (2002). Inferencia de una representación semántica de texto mediante análisis de correlación entre idiomas (PDF) . Avances en sistemas de procesamiento de información neuronal. Vol. 15.
  26. ^ Lavelli, Alberto; Sebastiani, Fabrizio; Zanoli, Roberto (2004). Representaciones de términos distributivos: una comparación experimental . 13.ª Conferencia Internacional ACM sobre Gestión de la Información y el Conocimiento. págs. 615–624. doi :10.1145/1031171.1031284.
  27. ^ Roweis, Sam T.; Saul, Lawrence K. (2000). "Reducción de dimensionalidad no lineal mediante incrustación lineal local". Science . 290 (5500): 2323–6. Bibcode :2000Sci...290.2323R. CiteSeerX 10.1.1.111.3313 . doi :10.1126/science.290.5500.2323. PMID  11125150. S2CID  5987139. 
  28. ^ él:יהושע בנג'יו
  29. ^ Morin, Fredric; Bengio, Yoshua (2005). "Modelo de lenguaje de red neuronal probabilística jerárquica" (PDF) . En Cowell, Robert G.; Ghahramani, Zoubin (eds.). Actas del Décimo Taller Internacional sobre Inteligencia Artificial y Estadística . Actas de la Investigación sobre Aprendizaje Automático. Vol. R5. págs. 246–252.
  30. ^ Mnih, Andriy; Hinton, Geoffrey (2009). "Un modelo de lenguaje distribuido jerárquico escalable". Avances en sistemas de procesamiento de información neuronal . 21 (NIPS 2008). Curran Associates, Inc.: 1081–1088.
  31. ^ "word2vec". Archivo de código de Google . Consultado el 23 de julio de 2021 .
  32. ^ Reisinger, Joseph; Mooney, Raymond J. (2010). Modelos de espacio vectorial de múltiples prototipos del significado de las palabras. Vol. Tecnologías del lenguaje humano: Conferencia anual de 2010 del Capítulo norteamericano de la Asociación de Lingüística Computacional. Los Ángeles, California: Asociación de Lingüística Computacional. págs. 109-117. ISBN 978-1-932432-65-7. Recuperado el 25 de octubre de 2019 .
  33. ^ Huang, Eric. (2012). Mejora de las representaciones de palabras mediante el contexto global y prototipos de palabras múltiples . OCLC  857900050.
  34. ^ Camacho-Collados, Jose; Pilehvar, Mohammad Taher (2018). "De la palabra a las incrustaciones de sentido: un estudio sobre las representaciones vectoriales del significado". arXiv : 1805.04032 [cs.CL].
  35. ^ Neelakantan, Arvind; Shankar, Jeevan; Passos, Alexandre; McCallum, Andrew (2014). "Estimación no paramétrica eficiente de múltiples incrustaciones por palabra en el espacio vectorial". Actas de la Conferencia de 2014 sobre métodos empíricos en el procesamiento del lenguaje natural (EMNLP) . Stroudsburg, PA, EE. UU.: Asociación de Lingüística Computacional. págs. 1059–1069. arXiv : 1504.06654 . doi :10.3115/v1/d14-1113. S2CID  15251438.
  36. ^ Ruas, Terry; Grosky, William; Aizawa, Akiko (1 de diciembre de 2019). "Incorporaciones multisensoriales a través de un proceso de desambiguación del sentido de las palabras". Sistemas expertos con aplicaciones . 136 : 288–303. arXiv : 2101.08700 . doi :10.1016/j.eswa.2019.06.026. hdl : 2027.42/145475 . ISSN  0957-4174. S2CID  52225306.
  37. ^ Agre, Gennady; Petrov, Daniel; Keskinova, Simona (1 de marzo de 2019). "Word Sense Disambiguation Studio: un sistema flexible para la extracción de características de WSD". Información . 10 (3): 97. doi : 10.3390/info10030097 . ISSN  2078-2489.
  38. ^ ab Akbik, Alan; Blythe, Duncan; Vollgraf, Roland (2018). "Incorporaciones contextuales de cadenas para el etiquetado de secuencias". Actas de la 27.ª Conferencia Internacional sobre Lingüística Computacional . Santa Fe, Nuevo México, EE. UU.: Association for Computational Linguistics: 1638–1649.
  39. ^ Li, Jiwei; Jurafsky, Dan (2015). "¿Las incrustaciones multisentido mejoran la comprensión del lenguaje natural?". Actas de la Conferencia de 2015 sobre métodos empíricos en el procesamiento del lenguaje natural . Stroudsburg, PA, EE. UU.: Asociación de Lingüística Computacional. págs. 1722–1732. arXiv : 1506.01070 . doi :10.18653/v1/d15-1200. S2CID  6222768.
  40. ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (junio de 2019). "Actas de la Conferencia del Norte de 2019". Actas de la Conferencia de 2019 del Capítulo norteamericano de la Asociación de Lingüística Computacional: Tecnologías del lenguaje humano, volumen 1 (artículos largos y cortos) . Asociación de Lingüística Computacional: 4171–4186. doi :10.18653/v1/N19-1423. S2CID  52967399.
  41. ^ Lucy, Li y David Bamman. "Caracterización de la variación del inglés en las comunidades de redes sociales con BERT". Transactions of the Association for Computational Linguistics 9 (2021): 538-556.
  42. ^ Reif, Emily, Ann Yuan, Martin Wattenberg, Fernanda B. Viegas, Andy Coenen, Adam Pearce y Been Kim. "Visualización y medición de la geometría de BERT". Advances in Neural Information Processing Systems 32 (2019).
  43. ^ ab Asgari, Ehsaneddin; Mofrad, Mohammad RK (2015). "Representación distribuida continua de secuencias biológicas para proteómica y genómica profunda". PLOS ONE . ​​10 (11): e0141287. arXiv : 1503.05140 . Bibcode :2015PLoSO..1041287A. doi : 10.1371/journal.pone.0141287 . PMC 4640716 . PMID  26555596. 
  44. ^ ab Rabii, Younès; Cook, Michael (4 de octubre de 2021). "Revelando la dinámica del juego a través de incrustaciones de palabras en datos de juego". Actas de la Conferencia AAAI sobre inteligencia artificial y entretenimiento digital interactivo . 17 (1): 187–194. doi : 10.1609/aiide.v17i1.18907 . ISSN  2334-0924. S2CID  248175634.
  45. ^ Kiros, Ryan; Zhu, Yukun; Salakhutdinov, Ruslan; Zemel, Richard S.; Torralba, Antonio; Urtasún, Raquel; Fidler, Sanja (2015). "vectores de omisión de pensamiento". arXiv : 1506.06726 [cs.CL].
  46. ^ Reimers, Nils y Iryna Gurevych. "Sentence-BERT: Incorporaciones de oraciones utilizando redes BERT siamesas". En Actas de la Conferencia de 2019 sobre métodos empíricos en procesamiento del lenguaje natural y la 9.ª Conferencia conjunta internacional sobre procesamiento del lenguaje natural (EMNLP-IJCNLP), págs. 3982-3992. 2019.
  47. ^ "Guante".
  48. ^ Zhao, Jieyu; et al. (2018) (2018). "Aprendizaje de incrustaciones de palabras neutrales en cuanto al género". arXiv : 1809.01496 [cs.CL].
  49. ^ "Elmo".
  50. ^ Pires, Telmo; Schlinger, Eva; Garrette, Dan (4 de junio de 2019). "¿Qué tan multilingüe es Multilingual BERT?". arXiv : 1906.01502 [cs.CL].
  51. ^ "Gensim".
  52. ^ "Indra". GitHub . 25 de octubre de 2018.
  53. ^ Ghassemi, Mohammad; Mark, Roger; Nemati, Shamim (2015). "Una visualización del sentimiento clínico en evolución utilizando representaciones vectoriales de notas clínicas" (PDF) . Conferencia sobre informática en cardiología de 2015 (CinC) . Vol. 2015. págs. 629–632. doi :10.1109/CIC.2015.7410989. ISBN . 978-1-5090-0685-4. PMC  5070922 . PMID  27774487. {{cite book}}: |journal=ignorado ( ayuda )
  54. ^ "Visor de incrustación". Visor de incrustación . Computación léxica. Archivado desde el original el 8 de febrero de 2018 . Consultado el 7 de febrero de 2018 .
  55. ^ Bolukbasi, Tolga; Chang, Kai-Wei; Zou, James; Saligrama, Venkatesh; Kalai, Adam (2016). "¿El hombre es al programador de computadoras lo que la mujer es al ama de casa? Eliminando sesgos de las incrustaciones de palabras". arXiv : 1607.06520 [cs.CL].
  56. ^ Bolukbasi, Tolga; Chang, Kai-Wei; Zou, James; Saligrama, Venkatesh; Kalai, Adam (21 de julio de 2016). "¿El hombre es al programador de computadoras lo que la mujer es al ama de casa? Eliminando sesgos de las incrustaciones de palabras". arXiv : 1607.06520 [cs.CL].
  57. ^ Dieng, Adji B.; Ruiz, Francisco JR; Blei, David M. (2020). "Modelado de temas en espacios de incrustación". Transacciones de la Asociación de Lingüística Computacional . 8 : 439–453. arXiv : 1907.04907 . doi :10.1162/tacl_a_00325.
  58. ^ Zhao, Jieyu; Wang, Tianlu; Yatskar, Mark; Ordonez, Vicente; Chang, Kai-Wei (2017). "A los hombres también les gusta ir de compras: reducción de la amplificación del sesgo de género mediante restricciones a nivel de corpus". Actas de la Conferencia de 2017 sobre métodos empíricos en el procesamiento del lenguaje natural . págs. 2979–2989. doi :10.18653/v1/D17-1323.
  59. ^ Petreski, Davor; Hashim, Ibrahim C. (26 de mayo de 2022). "Las incrustaciones de palabras están sesgadas. Pero, ¿de quién son los sesgos que reflejan?". AI & Society . 38 (2): 975–982. doi : 10.1007/s00146-022-01443-w . ISSN  1435-5655. S2CID  249112516.