Probabilistic latent semantic analysis

Probabilistic latent semantic analysis (PLSA), also known as probabilistic latent semantic indexing (PLSI, especially in information retrieval circles) is a statistical technique for the analysis of two-mode and co-occurrence data. In effect, one can derive a low-dimensional representation of the observed variables in terms of their affinity to certain hidden variables, just as in latent semantic analysis, from which PLSA evolved.

Compared to standard latent semantic analysis which stems from linear algebra and downsizes the occurrence tables (usually via a singular value decomposition), probabilistic latent semantic analysis is based on a mixture decomposition derived from a latent class model.

Model

Plate notation representing the PLSA model ("asymmetric" formulation). ${\displaystyle d}$ is the document index variable, ${\displaystyle c}$ is a word's topic drawn from the document's topic distribution, ${\displaystyle P(c|d)}$, and ${\displaystyle w}$ is a word drawn from the word distribution of this word's topic, ${\displaystyle P(w|c)}$ . The ${\displaystyle d}$ and ${\displaystyle w}$ are observable variables, the topic ${\displaystyle c}$ is a latent variable.

Considering observations in the form of co-occurrences ${\displaystyle (w,d)}$ of words and documents, PLSA models the probability of each co-occurrence as a mixture of conditionally independent multinomial distributions:

${\displaystyle P(w,d)=\sum _{c}P(c)P(d|c)P(w|c)=P(d)\sum _{c}P(c|d)P(w|c)}$

with ${\displaystyle c}$ being the words' topic. Note that the number of topics is a hyperparameter that must be chosen in advance and is not estimated from the data. The first formulation is the symmetric formulation, where ${\displaystyle w}$ and ${\displaystyle d}$ are both generated from the latent class ${\displaystyle c}$ in similar ways (using the conditional probabilities ${\displaystyle P(d|c)}$ and ${\displaystyle P(w|c)}$), whereas the second formulation is the asymmetric formulation, where, for each document ${\displaystyle d}$, a latent class is chosen conditionally to the document according to ${\displaystyle P(c|d)}$, and a word is then generated from that class according to ${\displaystyle P(w|c)}$. Although we have used words and documents in this example, the co-occurrence of any couple of discrete variables may be modelled in exactly the same way.

So, the number of parameters is equal to ${\displaystyle cd+wc}$. The number of parameters grows linearly with the number of documents. In addition, although PLSA is a generative model of the documents in the collection it is estimated on, it is not a generative model of new documents.

Their parameters are learned using the EM algorithm.

Application

PLSA se puede utilizar en un entorno discriminativo, a través de núcleos Fisher . ^[1]

PLSA tiene aplicaciones en recuperación y filtrado de información , procesamiento del lenguaje natural , aprendizaje automático a partir de texto, bioinformática , ^[2] y áreas relacionadas.

Se informa que el modelo de aspecto utilizado en el análisis semántico latente probabilístico tiene graves problemas de sobreajuste . ^[3]

Extensiones

• Extensiones jerárquicas:
  • Asimétrico: MASHA ("Análisis jerárquico asimétrico multinomial") ^[4]
  • Simétrico: HPLSA ("Análisis semántico latente probabilístico jerárquico") ^[5]

• Modelos generativos: Los siguientes modelos se han desarrollado para abordar una deficiencia de PLSA a menudo criticada, a saber, que no es un modelo generativo adecuado para nuevos documentos.
  • Asignación de Dirichlet latente : agrega un Dirichlet previo a la distribución de temas por documento
• Datos de orden superior: aunque esto rara vez se analiza en la literatura científica, PLSA se extiende naturalmente a datos de orden superior (tres modas y más), es decir, puede modelar coocurrencias en tres o más variables. En la formulación simétrica anterior, esto se hace simplemente agregando distribuciones de probabilidad condicional para estas variables adicionales. Este es el análogo probabilístico de la factorización tensorial no negativa.

Historia

Este es un ejemplo de un modelo de clase latente (consulte las referencias allí) y está relacionado ^{[6] [7]} con la factorización matricial no negativa . La terminología actual fue acuñada en 1999 por Thomas Hofmann. ^[8]

Ver también

• Procesamiento de términos compuestos
• asignación de pachinko
• Modelo de espacio vectorial

Referencias y notas

1. Thomas Hofmann, Aprendiendo la similitud de documentos: un enfoque geométrico de la información para la recuperación y categorización de documentos, Avances en sistemas de procesamiento de información neuronal 12, pp-914-920, MIT Press , 2000
2. Pinoli, Pietro; et al. (2013). "Análisis semántico latente probabilístico mejorado con esquemas de ponderación para predecir anotaciones genómicas". Actas de IEEE BIBE 2013 . La 13ª Conferencia Internacional IEEE sobre BioInformática y BioIngeniería. IEEE. págs. 1–4. doi :10.1109/BIBE.2013.6701702. ISBN 978-147993163-7.
3. Blei, David M.; Andrés Y. Ng; Michael I. Jordania (2003). "Asignación latente de Dirichlet" (PDF) . Revista de investigación sobre aprendizaje automático . 3 : 993–1022. doi :10.1162/jmlr.2003.3.4-5.993.
4. Alexei Vinokourov y Mark Girolami, Un marco probabilístico para la organización jerárquica y clasificación de colecciones de documentos, en Gestión y procesamiento de información , 2002
5. Eric Gaussier, Cyril Goutte, Kris Popat y Francine Chen, Un modelo jerárquico para agrupar y categorizar documentos Archivado el 4 de marzo de 2016 en Wayback Machine , en "Advances in Information Retrieval - Actas del 24º Coloquio europeo BCS-IRSG sobre Investigación de RI (ECIR-02)", 2002
6. Chris Ding, Tao Li, Wei Peng (2006). "Factorización matricial no negativa e indexación semántica latente probabilística: estadística de chi-cuadrado de equivalencia y un método híbrido. AAAI 2006"
7. Chris Ding, Tao Li, Wei Peng (2008). "Sobre la equivalencia entre factorización matricial no negativa e indexación semántica latente probabilística"
8. Thomas Hofmann, Indexación semántica latente probabilística, Actas de la vigésima segunda conferencia internacional anual SIGIR sobre investigación y desarrollo en recuperación de información (SIGIR-99), 1999

enlaces externos

• Análisis semántico latente probabilístico
• DEMOSTRACIÓN completa de PLSA en C#