El análisis de sentimientos (también conocido como minería de opiniones o IA de emociones ) es el uso del procesamiento del lenguaje natural , el análisis de texto , la lingüística computacional y la biometría para identificar, extraer, cuantificar y estudiar sistemáticamente estados afectivos e información subjetiva. El análisis de sentimientos se aplica ampliamente a materiales de voz del cliente , como reseñas y respuestas a encuestas, redes sociales y en línea, y materiales de atención médica para aplicaciones que van desde marketing hasta servicio al cliente y medicina clínica. Con el surgimiento de modelos de lenguaje profundo, como RoBERTa, también se pueden analizar dominios de datos más difíciles, por ejemplo, textos de noticias donde los autores normalmente expresan su opinión/sentimiento de manera menos explícita. [1]
El objetivo y los desafíos del análisis de sentimientos se pueden mostrar a través de algunos ejemplos simples.
Una tarea básica en el análisis de sentimientos es clasificar la polaridad de un texto determinado a nivel de documento, oración o característica/aspecto, ya sea que la opinión expresada en un documento, una oración o una característica/aspecto de entidad sea positiva, negativa o neutral. La clasificación avanzada de sentimientos "más allá de la polaridad" analiza, por ejemplo, estados emocionales como disfrute, ira, disgusto, tristeza, miedo y sorpresa. [2]
Los precursores del análisis sentimental incluyen el General Inquirer, [3] que proporcionó pistas para cuantificar patrones en el texto y, por separado, la investigación psicológica que examinó el estado psicológico de una persona basándose en el análisis de su comportamiento verbal. [4]
Posteriormente, el método descrito en una patente de Volcani y Fogel [5] analizó específicamente los sentimientos e identificó palabras y frases individuales en el texto con respecto a diferentes escalas emocionales. Un sistema actual basado en su trabajo, llamado EffectCheck, presenta sinónimos que pueden usarse para aumentar o disminuir el nivel de emoción evocada en cada escala.
Muchos otros esfuerzos posteriores fueron menos sofisticados y utilizaron una mera visión polar del sentimiento, de positivo a negativo, como el trabajo de Turney, [6] y Pang [7] , quienes aplicaron diferentes métodos para detectar la polaridad de las reseñas de productos y de películas, respectivamente. . Este trabajo es a nivel de documento. También se puede clasificar la polaridad de un documento en una escala de múltiples vías, lo que intentaron Pang [8] y Snyder [9], entre otros: Pang y Lee [8] ampliaron la tarea básica de clasificar una reseña de película como positiva o negativa. para predecir calificaciones de estrellas en una escala de 3 o 4 estrellas, mientras que Snyder [9] realizó un análisis en profundidad de las reseñas de restaurantes, prediciendo calificaciones para varios aspectos del restaurante en cuestión, como la comida y la atmósfera (en una escala de 3 o 4 estrellas). escala de cinco estrellas).
Los primeros pasos para reunir varios enfoques (aprendizaje, léxico, basado en el conocimiento, etc.) se dieron en el Simposio de Primavera de la AAAI de 2004 , donde lingüistas, informáticos y otros investigadores interesados alinearon intereses y propusieron tareas compartidas y conjuntos de datos de referencia para el Investigación computacional sistemática sobre el afecto, el atractivo, la subjetividad y el sentimiento en el texto. [10]
Aunque en la mayoría de los métodos de clasificación estadística la clase neutral se ignora bajo el supuesto de que los textos neutrales se encuentran cerca del límite del clasificador binario, varios investigadores sugieren que, como en todo problema de polaridad, se deben identificar tres categorías. Además, se puede demostrar que clasificadores específicos como Max Entropy [11] y SVM [12] pueden beneficiarse de la introducción de una clase neutral y mejorar la precisión general de la clasificación. En principio, existen dos formas de operar con una clase neutral. O bien, el algoritmo procede identificando primero el lenguaje neutral, filtrándolo y luego evaluando el resto en términos de sentimientos positivos y negativos, o construye una clasificación de tres vías en un solo paso. [13] Este segundo enfoque a menudo implica estimar una distribución de probabilidad sobre todas las categorías (por ejemplo, clasificadores ingenuos de Bayes implementados por el NLTK ). El uso y el modo de utilizar una clase neutral depende de la naturaleza de los datos: si los datos están claramente agrupados en lenguaje neutral, negativo y positivo, tiene sentido filtrar el lenguaje neutral y centrarse en la polaridad entre sentimientos positivos y negativos. Si, por el contrario, los datos son en su mayoría neutrales con pequeñas desviaciones hacia el afecto positivo y negativo, esta estrategia haría más difícil distinguir claramente entre los dos polos.
Un método diferente para determinar el sentimiento es el uso de un sistema de escala mediante el cual las palabras comúnmente asociadas con un sentimiento negativo, neutral o positivo reciben un número asociado en una escala de -10 a +10 (de más negativo a más positivo). o simplemente de 0 a un límite superior positivo como +4. Esto hace posible ajustar el sentimiento de un término determinado en relación con su entorno (normalmente al nivel de la oración). Cuando se analiza un fragmento de texto no estructurado mediante procesamiento de lenguaje natural , cada concepto en el entorno especificado recibe una puntuación basada en la forma en que las palabras de sentimiento se relacionan con el concepto y su puntuación asociada. [14] [15] [16] Esto permite avanzar hacia una comprensión más sofisticada del sentimiento, porque ahora es posible ajustar el valor del sentimiento de un concepto en relación con las modificaciones que pueden rodearlo. Las palabras, por ejemplo, que intensifican, relajan o niegan el sentimiento expresado por el concepto pueden afectar su puntuación. Alternativamente, a los textos se les puede dar una puntuación de intensidad de sentimiento positivo y negativo si el objetivo es determinar el sentimiento en un texto en lugar de la polaridad y la fuerza generales del texto. [17]
Existen otros tipos de análisis de sentimientos, como el análisis de sentimientos basado en aspectos, el análisis de sentimientos de calificación (positivo, negativo, neutral), el análisis de sentimientos multilingüe y la detección de emociones.
Esta tarea se define comúnmente como clasificar un texto determinado (generalmente una oración) en una de dos clases: objetiva o subjetiva. [18] Este problema a veces puede ser más difícil que la clasificación de polaridad. [19] La subjetividad de las palabras y frases puede depender de su contexto y un documento objetivo puede contener oraciones subjetivas (por ejemplo, un artículo de noticias que cita las opiniones de las personas). Además, como menciona Su, [20] los resultados dependen en gran medida de la definición de subjetividad utilizada al anotar textos. Sin embargo, Pang [21] demostró que eliminar oraciones objetivas de un documento antes de clasificar su polaridad ayudó a mejorar el rendimiento.
Identificación subjetiva y objetiva, subtareas emergentes de análisis de sentimientos para utilizar características sintácticas y semánticas y conocimientos de aprendizaje automático para identificar si una oración o documento contiene hechos u opiniones. La conciencia de reconocer hechos y opiniones no es reciente; posiblemente la presentó por primera vez Carbonell en la Universidad de Yale en 1979. [ aclarar ]
El término objetivo se refiere al incidente que contiene información fáctica. [22]
El término subjetivo describe el incidente que contiene información no objetiva en diversas formas, como opiniones personales, juicios y predicciones, también conocidos como "estados privados". [23] En el ejemplo siguiente, refleja "Nosotros, los estadounidenses" de un estado privado. Además, la entidad objetivo comentada por las opiniones puede adoptar varias formas, desde un producto tangible hasta temas intangibles establecidos en Liu (2010). [24] Además, Liu (2010) observó tres tipos de actitudes: 1) opiniones positivas, 2) opiniones neutrales y 3) opiniones negativas. [24]
Este análisis es un problema de clasificación. [25]
Las colecciones de palabras o indicadores de frases de cada clase se definen para localizar patrones deseables en texto sin anotaciones. Para expresiones subjetivas, se ha creado una lista de palabras diferente. Múltiples investigadores en el campo del procesamiento lingüístico y del lenguaje natural han desarrollado listas de indicadores subjetivos en palabras o frases en Riloff et al. (2003). [26] Se debe crear un diccionario de reglas de extracción para medir expresiones dadas. A lo largo de los años, en la detección subjetiva, la extracción de características progresa desde la selección manual de características hasta el aprendizaje automatizado de características. Por el momento, los métodos de aprendizaje automatizado se pueden separar aún más en aprendizaje automático supervisado y no supervisado . Los investigadores académicos han explorado ampliamente la extracción de patrones con proceso de aprendizaje automático en texto anotado y no anotado.
Sin embargo, los investigadores reconocieron varios desafíos en el desarrollo de conjuntos fijos de reglas para expresiones respetables. Gran parte de los desafíos en el desarrollo de reglas provienen de la naturaleza de la información textual. Varios investigadores han reconocido seis desafíos: 1) expresiones metafóricas, 2) discrepancias en los escritos, 3) sensible al contexto, 4) palabras representadas con menos usos, 5) sensible al tiempo y 6) volumen cada vez mayor.
Anteriormente, la investigación se centraba principalmente en la clasificación a nivel de documentos. Sin embargo, clasificar un nivel de documento sufre menos precisión, ya que un artículo puede tener diversos tipos de expresiones involucradas. La evidencia de la investigación sugiere un conjunto de artículos de noticias que se espera que dominen por la expresión objetiva, mientras que los resultados muestran que consistió en más del 40% de expresión subjetiva. [22]
Para superar esos desafíos, los investigadores concluyen que la eficacia del clasificador depende de la precisión de los patrones que aprende. Y los feeds del alumno con grandes volúmenes de datos de entrenamiento anotados superaron a los entrenados en características subjetivas menos completas. Sin embargo, uno de los principales obstáculos para ejecutar este tipo de trabajo es generar manualmente un gran conjunto de datos de oraciones anotadas. El método de anotación manual ha sido menos favorecido que el aprendizaje automático por tres razones:
Todas estas razones mencionadas pueden afectar la eficiencia y eficacia de la clasificación subjetiva y objetiva. En consecuencia, se diseñaron dos métodos de arranque para aprender patrones lingüísticos a partir de datos de texto sin anotaciones. Ambos métodos comienzan con un puñado de palabras iniciales y datos textuales sin anotaciones.
En general, estos algoritmos resaltan la necesidad de reconocimiento y extracción automática de patrones en tareas subjetivas y objetivas.
El clasificador subjetivo y de objetos puede mejorar las diversas aplicaciones del procesamiento del lenguaje natural. Uno de los principales beneficios del clasificador es que popularizó la práctica de procesos de toma de decisiones basados en datos en diversas industrias. Según Liu, las aplicaciones de la identificación subjetiva y objetiva se han implementado en los negocios, la publicidad, los deportes y las ciencias sociales. [31]
Se refiere a determinar las opiniones o sentimientos expresados sobre diferentes características o aspectos de entidades, por ejemplo, de un teléfono celular, una cámara digital o un banco. [35] Una característica o aspecto es un atributo o componente de una entidad, por ejemplo, la pantalla de un teléfono celular, el servicio de un restaurante o la calidad de imagen de una cámara. La ventaja del análisis de sentimiento basado en características es la posibilidad de capturar matices sobre objetos de interés. Diferentes características pueden generar diferentes sentimientos; por ejemplo, un hotel puede tener una ubicación conveniente, pero una comida mediocre. [36] Este problema implica varios subproblemas, por ejemplo, identificar entidades relevantes, extraer sus características/aspectos y determinar si una opinión expresada sobre cada característica/aspecto es positiva, negativa o neutral. [37] La identificación automática de características se puede realizar con métodos sintácticos, con modelado de temas , [38] [39] o con aprendizaje profundo . [40] [41] Se pueden encontrar discusiones más detalladas sobre este nivel de análisis de sentimientos en el trabajo de Liu. [24]
Las emociones y los sentimientos son de naturaleza subjetiva . El grado de emociones/sentimientos expresados en un texto determinado a nivel de documento, oración o característica/aspecto: el grado de intensidad que se expresa en la opinión de un documento, una oración o una entidad difiere según el caso. base. [42] Sin embargo, predecir sólo la emoción y el sentimiento no siempre transmite información completa. El grado o nivel de las emociones y sentimientos a menudo juega un papel crucial en la comprensión del sentimiento exacto dentro de una sola clase (por ejemplo, "bueno" versus "impresionante"). Algunos métodos aprovechan un método de conjunto apilado [43] para predecir la intensidad de la emoción y el sentimiento combinando los resultados obtenidos y utilizando modelos de aprendizaje profundo basados en redes neuronales convolucionales , [44] redes de memoria a corto plazo y unidades recurrentes cerradas . [45]
Los enfoques existentes para el análisis de sentimientos se pueden agrupar en tres categorías principales: técnicas basadas en el conocimiento, métodos estadísticos y enfoques híbridos. [46] Las técnicas basadas en el conocimiento clasifican el texto por categorías afectivas basadas en la presencia de palabras afectivas inequívocas como feliz, triste, asustado y aburrido. [47] Algunas bases de conocimiento no sólo enumeran palabras afectivas obvias, sino que también asignan a palabras arbitrarias una probable "afinidad" con emociones particulares. [48] Los métodos estadísticos aprovechan elementos del aprendizaje automático como el análisis semántico latente , máquinas de vectores de soporte , " bolsa de palabras ", " información mutua puntual " para la orientación semántica, [6] modelos de espacio semántico o modelos de incrustación de palabras , [49] y aprendizaje profundo . Métodos más sofisticados intentan detectar quién posee un sentimiento (es decir, la persona que mantiene ese estado afectivo) y el objetivo (es decir, la entidad sobre la cual se siente el afecto). [50] Para extraer la opinión en contexto y obtener la característica sobre la cual el hablante ha opinado, se utilizan las relaciones gramaticales de las palabras. Las relaciones de dependencia gramatical se obtienen mediante un análisis profundo del texto. [51] Los enfoques híbridos aprovechan tanto el aprendizaje automático como elementos de la representación del conocimiento, como ontologías y redes semánticas, para detectar la semántica que se expresa de manera sutil, por ejemplo, a través del análisis de conceptos que no transmiten explícitamente información relevante, pero que están implícitamente vinculados a otros conceptos que también lo hacen. [52]
Las herramientas de software de código abierto, así como una variedad de herramientas de análisis de sentimientos gratuitas y de pago, implementan técnicas de aprendizaje automático , estadísticas y procesamiento de lenguaje natural para automatizar el análisis de sentimientos en grandes colecciones de textos, incluidas páginas web, noticias en línea, grupos de discusión en Internet, reseñas en línea, blogs web y redes sociales. [53] Los sistemas basados en el conocimiento, por otro lado, hacen uso de recursos disponibles públicamente para extraer la información semántica y afectiva asociada con los conceptos del lenguaje natural. El sistema puede ayudar a realizar un razonamiento afectivo de sentido común . [54] El análisis de sentimiento también se puede realizar en contenido visual, es decir, imágenes y vídeos (ver Análisis de sentimiento multimodal ). Uno de los primeros enfoques en esta dirección es SentiBank [55] que utiliza una representación de contenido visual de par adjetivo-nombre. Además, la gran mayoría de los enfoques de clasificación de sentimientos se basan en el modelo de bolsa de palabras, que no tiene en cuenta el contexto, la gramática e incluso el orden de las palabras . Los enfoques que analizan el sentimiento basándose en cómo las palabras componen el significado de frases más largas han mostrado mejores resultados, [56] pero conllevan una sobrecarga de anotación adicional.
Se requiere un componente de análisis humano en el análisis de sentimientos, ya que los sistemas automatizados no pueden analizar las tendencias históricas del comentarista individual o de la plataforma y, a menudo, se clasifican incorrectamente en el sentimiento expresado. La automatización afecta aproximadamente al 23% de los comentarios que los humanos clasifican correctamente. [57] Sin embargo, los humanos a menudo no están de acuerdo, y se argumenta que el acuerdo entre humanos proporciona un límite superior que los clasificadores de sentimientos automatizados pueden eventualmente alcanzar. [58]
La precisión de un sistema de análisis de sentimientos es, en principio, qué tan bien concuerda con los juicios humanos. Esto generalmente se mide mediante medidas variantes basadas en la precisión y el recuerdo de las dos categorías objetivo de textos negativos y positivos. Sin embargo, según una investigación, los evaluadores humanos normalmente solo están de acuerdo alrededor del 80% [59] de las veces (consulte Confiabilidad entre evaluadores ). Por lo tanto, un programa que logra un 70% de precisión en la clasificación de sentimientos funciona casi tan bien como los humanos, aunque tal precisión pueda no parecer impresionante. Si un programa fuera "correcto" el 100% de las veces, los humanos todavía estarían en desacuerdo con él alrededor del 20% de las veces, ya que están en desacuerdo con cualquier respuesta. [ cita necesaria ]
Por otro lado, los sistemas informáticos cometen errores muy diferentes a los de los evaluadores humanos y, por tanto, las cifras no son del todo comparables. Por ejemplo, un sistema informático tendrá problemas con negaciones, exageraciones, bromas o sarcasmo, que normalmente son fáciles de manejar para un lector humano: algunos errores que comete un sistema informático le parecerán demasiado ingenuos a un humano. En general, se ha cuestionado la utilidad del análisis de sentimiento para tareas comerciales prácticas, tal como se define en la investigación académica, sobre todo porque el modelo unidimensional simple de sentimiento de negativo a positivo produce bastante poca información procesable para un cliente preocupado por el efecto del discurso público sobre, por ejemplo, la marca o la reputación corporativa. [60] [61] [62]
Para adaptarse mejor a las necesidades del mercado, la evaluación del análisis de sentimiento se ha trasladado a medidas más basadas en tareas, formuladas junto con representantes de agencias de relaciones públicas y profesionales de investigación de mercado. El enfoque, por ejemplo, en el conjunto de datos de evaluación de RepLab está menos en el contenido del texto bajo consideración y más en el efecto del texto en cuestión sobre la reputación de la marca . [63] [64] [65]
Debido a que la evaluación del análisis de sentimiento se basa cada vez más en tareas, cada implementación necesita un modelo de entrenamiento independiente para obtener una representación más precisa del sentimiento para un conjunto de datos determinado.
El auge de las redes sociales , como los blogs y las redes sociales, ha alimentado el interés en el análisis de sentimientos. Con la proliferación de reseñas, calificaciones, recomendaciones y otras formas de expresión en línea, la opinión en línea se ha convertido en una especie de moneda virtual para las empresas que buscan comercializar sus productos, identificar nuevas oportunidades y gestionar su reputación. A medida que las empresas buscan automatizar el proceso de filtrar el ruido, comprender las conversaciones, identificar el contenido relevante y actuar de manera adecuada, muchas ahora miran hacia el campo del análisis de sentimientos. [66] Para complicar aún más el asunto, está el aumento de plataformas de redes sociales anónimas como 4chan y Reddit . [67] Si la web 2.0 se trataba de democratizar la publicación, entonces la siguiente etapa de la web bien podría basarse en democratizar la extracción de datos de todo el contenido que se publica. [68]
Un paso hacia este objetivo se logra con la investigación. Actualmente, varios equipos de investigación de universidades de todo el mundo se centran en comprender la dinámica del sentimiento en las comunidades electrónicas a través del análisis del sentimiento. [69]
El problema es que la mayoría de los algoritmos de análisis de sentimientos utilizan términos simples para expresar sentimientos sobre un producto o servicio. Sin embargo, los factores culturales, los matices lingüísticos y los diferentes contextos hacen que sea extremadamente difícil convertir una serie de textos escritos en un simple sentimiento a favor o en contra. [66] El hecho de que los humanos a menudo no estén de acuerdo sobre el sentimiento del texto ilustra cuán grande es la tarea para las computadoras hacer esto bien. Cuanto más corta es la cadena de texto, más difícil se vuelve.
Aunque las cadenas de texto cortas pueden ser un problema, el análisis de sentimientos dentro del microblogging ha demostrado que Twitter puede verse como un indicador en línea válido del sentimiento político. El sentimiento político de los tuits demuestra una estrecha correspondencia con las posiciones políticas de los partidos y políticos, lo que indica que el contenido de los mensajes de Twitter refleja de manera plausible el panorama político fuera de línea. [70] Además, también se ha demostrado que el análisis de sentimientos en Twitter captura el estado de ánimo público detrás de los ciclos de reproducción humana a nivel mundial, [71] así como otros problemas de relevancia para la salud pública, como las reacciones adversas a los medicamentos. [72]
Si bien el análisis de sentimientos ha sido popular en dominios donde los autores expresan su opinión de manera bastante explícita ("la película es increíble"), como las redes sociales y las reseñas de productos, sólo recientemente se idearon métodos sólidos para otros dominios donde el sentimiento es fuertemente implícito o indirecto. Por ejemplo, en los artículos periodísticos -sobre todo debido a la esperada objetividad periodística- los periodistas suelen describir acciones o acontecimientos en lugar de indicar directamente la polaridad de una información. Los enfoques anteriores que utilizaban diccionarios o funciones superficiales de aprendizaje automático no podían captar el "significado entre líneas", pero recientemente los investigadores han propuesto un enfoque basado en el aprendizaje profundo y un conjunto de datos que es capaz de analizar el sentimiento en los artículos de noticias. [1]
Para un sistema de recomendación , se ha demostrado que el análisis de sentimientos es una técnica valiosa. Un sistema de recomendación tiene como objetivo predecir la preferencia por un artículo de un usuario objetivo. Los sistemas de recomendación convencionales funcionan con conjuntos de datos explícitos. Por ejemplo, el filtrado colaborativo funciona en la matriz de calificación y el filtrado basado en contenido funciona en los metadatos de los elementos.
En muchos servicios de redes sociales o sitios web de comercio electrónico , los usuarios pueden proporcionar revisiones de texto, comentarios o comentarios sobre los artículos. Estos textos generados por los usuarios proporcionan una rica fuente de opiniones de los usuarios sobre numerosos productos y artículos. Potencialmente, para un artículo, dicho texto puede revelar tanto las características/aspectos relacionados del artículo como los sentimientos de los usuarios sobre cada característica. [73] Las características/aspectos del elemento descritos en el texto juegan el mismo papel que los metadatos en el filtrado basado en contenido , pero los primeros son más valiosos para el sistema de recomendación. Dado que los usuarios mencionan ampliamente estas características en sus reseñas, pueden verse como las características más cruciales que pueden influir significativamente en la experiencia del usuario con el artículo, mientras que los metadatos del artículo (generalmente proporcionados por los productores en lugar de los consumidores) puede ignorar características que sean de interés para los usuarios. Para diferentes elementos con características comunes, un usuario puede dar opiniones diferentes. Además, una característica del mismo artículo puede recibir opiniones diferentes de diferentes usuarios. Los sentimientos de los usuarios sobre las funciones pueden considerarse como una puntuación de calificación multidimensional, que refleja su preferencia sobre los elementos.
En función de las características/aspectos y los sentimientos extraídos del texto generado por el usuario, se puede construir un sistema de recomendación híbrido. [74] Hay dos tipos de motivación para recomendar un artículo candidato a un usuario. La primera motivación es que el elemento candidato tiene numerosas características comunes con los elementos preferidos del usuario, [75] mientras que la segunda motivación es que el elemento candidato recibe un alto sentimiento sobre sus características. Para un artículo preferido, es razonable creer que artículos con las mismas características tendrán una función o utilidad similar. Por lo tanto, es probable que el usuario también prefiera estos elementos. Por otro lado, para una característica compartida de dos elementos candidatos, otros usuarios pueden dar una opinión positiva a uno de ellos y una opinión negativa al otro. Claramente, el artículo con la evaluación más alta debe recomendarse al usuario. Con base en estas dos motivaciones, se puede construir una puntuación de clasificación combinada de similitud y calificación de sentimiento para cada elemento candidato. [74]
Excepto por la dificultad del análisis de sentimiento en sí, la aplicación del análisis de sentimiento en reseñas o comentarios también enfrenta el desafío del spam y las reseñas sesgadas. Una dirección de trabajo se centra en evaluar la utilidad de cada revisión. [76] Las reseñas o comentarios mal escritos no son útiles para el sistema de recomendación. Además, una reseña puede diseñarse para obstaculizar las ventas de un producto objetivo y, por lo tanto, ser perjudicial para el sistema de recomendación, incluso si está bien escrita.
Los investigadores también descubrieron que las formas largas y cortas de texto generado por el usuario deberían tratarse de manera diferente. Un resultado interesante muestra que las reseñas breves a veces son más útiles que las largas, [77] porque es más fácil filtrar el ruido en un texto breve. Para el texto de formato largo, la longitud creciente del texto no siempre trae consigo un aumento proporcional en el número de características o sentimientos del texto.
Lamba y Madhusudhan [78] introducen una forma incipiente de satisfacer las necesidades de información de los usuarios de bibliotecas actuales reempaquetando los resultados del análisis de sentimientos de plataformas de medios sociales como Twitter y proporcionándolos como un servicio consolidado basado en el tiempo en diferentes formatos. Además, proponen una nueva forma de realizar marketing en bibliotecas utilizando la minería de redes sociales y el análisis de sentimientos.
{{cite book}}
: |journal=
ignorado ( ayuda ){{cite book}}
: Mantenimiento CS1: fecha y año ( enlace )