[论文解读] Variable Selection for Latent Dirichlet Allocation

Dongwoo Kim, Yeonseung Chung+1 more|arXiv (Cornell University)|May 4, 2012

Natural Language Processing Techniques参考文献 25被引用 3

一句话总结

该论文提出 vsLDA，一种用于潜在狄利克雷分配（Latent Dirichlet Allocation）的变量选择方法，可在主题推断过程中自动识别并排除词汇表中的非信息性词汇。通过使用伯努利分布建模词汇的信息性，vsLDA 提升了主题的可区分性与鲁棒性，在文档分类和 MCMC 一致性方面优于对称与非对称 LDA 变体，且在多次运行中非信息性词汇集合的 Jaccard 相似度为 0.83–0.96。

ABSTRACT

In latent Dirichlet allocation (LDA), topics are multinomial distributions over the entire vocabulary. However, the vocabulary usually contains many words that are not relevant in forming the topics. We adopt a variable selection method widely used in statistical modeling as a dimension reduction tool and combine it with LDA. In this variable selection model for LDA (vsLDA), topics are multinomial distributions over a subset of the vocabulary, and by excluding words that are not informative for finding the latent topic structure of the corpus, vsLDA finds topics that are more robust and discriminative. We compare three models, vsLDA, LDA with symmetric priors, and LDA with asymmetric priors, on heldout likelihood, MCMC chain consistency, and document classification. The performance of vsLDA is better than symmetric LDA for likelihood and classification, better than asymmetric LDA for consistency and classification, and about the same in the other comparisons.

研究动机与目标

• 解决传统主题模型中词汇预处理（如停用词移除）的临时性与任意性问题。
• 开发一种基于模型的、系统性的变量选择方法，联合选择信息性词汇并推断主题。
• 通过排除阻碍主题发现的词汇，提升主题模型的鲁棒性与预测能力。
• 提供一种固定词汇选择的系统性替代方案，实现数据驱动的词汇子集识别。
• 在似然度、一致性与分类性能方面，将 vsLDA 与对称及非对称 LDA 进行对比评估。

提出的方法

• 引入一种生成过程，为每个词类分配一个二值指示变量 $ s_j \sim \text{Bernoulli}(\lambda) $，以确定其是否被包含在主题词汇表中。
• 将标准的狄利克雷先验 $ \text{Dir}(\beta\mathbf{1}) $ 替换为 $ \text{Dir}(\beta\mathbf{s}) $，使得主题仅基于选定的词汇子集定义。
• 使用马尔可夫链蒙特卡洛（MCMC）结合吉布斯抽样对潜在变量（包括主题分配与词汇选择指示变量）进行后验推断。
• 采用蒙特卡洛积分方法近似所选词汇集合与主题分布的后验分布。
• 采用基于匈牙利算法的最佳匹配方法，计算多个 MCMC 链之间主题对的对称 KL 散度，用于一致性评估。
• 使用 Jaccard 系数衡量多个 MCMC 运行中非信息性（NI）词汇集合的重叠程度，作为稳定性代理指标。

实验结果

研究问题

• RQ1 基于模型的变量选择方法是否可通过在主题推断过程中排除非信息性词汇来提升主题模型性能？
• RQ2 vsLDA 在保留似然度与预测性能方面与对称及非对称 LDA 相比如何？
• RQ3 vsLDA 在多个 MCMC 运行中是否比非对称 LDA 产生更一致的主题估计？
• RQ4 排除非信息性词汇在多大程度上提升了文档分类的准确性？
• RQ5 vsLDA 在多个 MCMC 链中识别出的非信息性词汇集合在多大程度上保持稳定？

主要发现

• vsLDA 的保留似然度优于对称 LDA，文档分类准确度优于对称与非对称 LDA。
• vsLDA 的 MCMC 链一致性高于非对称 LDA，最佳匹配主题对之间的平均对称 KL 散度低于非对称 LDA。
• 在多个 MCMC 运行中，非信息性词汇集合的平均 Jaccard 相似度为 20NG 的 0.83、NIPS 的 0.96 和 SigGraph 的 0.93，表明具有高度稳定性。
• vsLDA 将每个文档压缩为更具区分性的子维度，从而在分类性能上优于对称与非对称 LDA。
• 尽管使用了非对称先验，vsLDA 在对称 KL 散度与一致性方面与对称 LDA 表现相当。
• 该模型有效降低了通常通过任意预处理（如停用词列表）移除的非信息性词汇的影响。