[论文解读] Probabilistic Latent Semantic Analysis

Thomas Hofmann|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 2,092

一句话总结

引入 Probabilistic Latent Semantic Analysis (PLSA)，一种用于分析两模态和共现数据的概率模型，基于潜在类混合与 tempered EM 以防止过拟合，在实验中观察到相对于标准 LSA 的改进。

ABSTRACT

Probabilistic Latent Semantic Analysis is a novel statistical technique for the analysis of two-mode and co-occurrence data, which has applications in information retrieval and filtering, natural language processing, machine learning from text, and in related areas. Compared to standard Latent Semantic Analysis which stems from linear algebra and performs a Singular Value Decomposition of co-occurrence tables, the proposed method is based on a mixture decomposition derived from a latent class model. This results in a more principled approach which has a solid foundation in statistics. In order to avoid overfitting, we propose a widely applicable generalization of maximum likelihood model fitting by tempered EM. Our approach yields substantial and consistent improvements over Latent Semantic Analysis in a number of experiments.

研究动机与目标

• 在信息检索、自然语言处理（NLP）及相关领域，激发对共现数据分析采用概率方法的需求。
• 基于 Probabilistic Latent Semantic Analysis 的潜在类别模型开发一个框架。
• 通过最大似然拟合的 tempered EM 变体来解决过拟合问题。
• 在多个任务中展示相对于标准 Latent Semantic Analysis 的经验改进。

提出的方法

• 将 PLSA 表述为源自于两模态和共现数据的潜在类别模型的混合分解。
• 应用 tempered EM 来估计模型参数并减缓最大似然拟合中的过拟合。
• 在相关的信息检索和 NLP 任务中比较 PLSA 与标准 LSA 以显示改进。
• 为潜在语义分析提供一个有理论依据的概率基础，与基于线性代数的 SVD 形成对比。
• 讨论该方法在相关领域的一般适用性。

实验结果

研究问题

• RQ1 是否存在一种概率潜在类别表述能在共现数据分析中优于标准 LSA？
• RQ2 tempered EM 是否能够降低过拟合并在 PLSA 中获得更稳健的参数估计？
• RQ3 在哪些任务和设置中 PLSA 超过传统的 LSA？
• RQ4 概率方法对信息检索和 NLP 应用的经验影响是什么？

主要发现

• PLSA 提供了一个基于潜在类别模型的、具有原理性的潜在语义分析框架。
• 提出 tempered EM 以推广最大似然拟合并防止过拟合。
• 实证实验在若干情形下显示 PLSA 相较于标准 LSA 的显著且稳定的改进。