[论文解读] Prior matters: simple and general methods for evaluating and improving topic quality in topic modeling

Angela Fan, Finale Doshi‐Velez+1 more|arXiv (Cornell University)|Jan 12, 2017

Topic Modeling参考文献 17被引用 6

一句话总结

本文提出一种新颖方法，通过使用信息性先验来抑制常规停用词和领域特定停用词，从而提升主题模型的质量，这些停用词原本会主导主题分布。该文引入一种新度量指标——提升得分（lift-score），其与人类对主题质量的判断具有强相关性，并在检测低质量主题方面优于标准度量指标（如一致性与PMI），尤其是在存在无关高频词的情况下。

ABSTRACT

Latent Dirichlet Allocation (LDA) models trained without stopword removal often produce topics with high posterior probabilities on uninformative words, obscuring the underlying corpus content. Even when canonical stopwords are manually removed, uninformative words common in that corpus will still dominate the most probable words in a topic. In this work, we first show how the standard topic quality measures of coherence and pointwise mutual information act counter-intuitively in the presence of common but irrelevant words, making it difficult to even quantitatively identify situations in which topics may be dominated by stopwords. We propose an additional topic quality metric that targets the stopword problem, and show that it, unlike the standard measures, correctly correlates with human judgements of quality. We also propose a simple-to-implement strategy for generating topics that are evaluated to be of much higher quality by both human assessment and our new metric. This approach, a collection of informative priors easily introduced into most LDA-style inference methods, automatically promotes terms with domain relevance and demotes domain-specific stop words. We demonstrate this approach's effectiveness in three very different domains: Department of Labor accident reports, online health forum posts, and NIPS abstracts. Overall we find that current practices thought to solve this problem do not do so adequately, and that our proposal offers a substantial improvement for those interested in interpreting their topics as objects in their own right.

研究动机与目标

• 为解决停用词（包括常规与领域特定）持续主导主题模型输出的问题，从而损害可解释性。
• 揭示标准主题质量度量指标（如一致性与PMI）的缺陷，即当存在停用词时，这些指标与人类判断缺乏相关性。
• 提出一种简单且可推广的方法，利用信息性先验提升主题质量，无需复杂重训练或定制推理过程。
• 引入一种新评估度量指标——提升得分（lift-score），其与人类对主题质量的评估高度相关，并适用于不同词汇集合。
• 在三个多样化领域（事故报告、健康论坛、NIPS摘要）中展示所提方法的有效性。

提出的方法

• 在词-主题分布上引入异质信息性先验，以惩罚无信息量的高频词，同时促进领域相关术语。
• 使用TF-IDF分数作为先验，以降低常见但无信息量的词的权重，同时提高稀有且上下文相关的词的权重。
• 通过为已知相关术语（如“autism”、“hospitalized”）分配更高的先验概率，实施关键词种子先验，以引导主题形成。
• 将LDA中的对称狄利克雷先验替换为这些非对称信息性先验，且无需修改推理算法。
• 基于调整了基线频率的点互信息，开发一种新度量指标——提升得分（lift-score），用于独立于词汇大小评估主题质量。
• 通过人类评估与多主题质量度量指标及数据集的定量比较，验证该方法。

实验结果

研究问题

• RQ1 标准主题质量度量指标（如一致性与PMI）是否无法检测出被停用词主导的主题，即使人类判断这些主题不可解释？
• RQ2 新度量指标——提升得分（lift-score）是否能更好地与人类对主题质量的判断相关联，特别是在存在领域特定与常规停用词的情况下？
• RQ3 信息性先验是否可在不修改推理流程或无需大量预处理的前提下，有效提升主题质量？
• RQ4 所提方法是否能在具有不同词汇与停用词特征的多样化领域中，持续提升主题可解释性？
• RQ5 信息性先验与提升得分（lift-score）的结合是否能实现在真实应用中更可靠、可复现且可解释的主题建模？

主要发现

• 标准主题质量度量指标（如一致性与PMI）系统性地偏好在常规停用词上具有高概率的主题，导致评估结果具有误导性。
• 提升得分（lift-score）度量指标与人类对主题质量的评估具有强相关性，并在不同词汇大小的模型中保持有效性，而一致性与PMI则不具备此特性。
• 使用信息性先验（尤其是TF-IDF与关键词种子先验）显著减少了主题中常规与领域特定停用词在顶部词中的出现。
• TF-IDF先验在减少每个主题前30个词中常规停用词数量的同时，也有效抑制了通用的低信息量词汇。
• 所提方法在人类评估中获得了更高的主题质量得分，并优于所有基线模型，包括经过人工停用词移除与超参数调优的模型。
• 信息性先验方法在多样化领域（如劳工部报告、健康论坛、NIPS摘要）中表现稳健，且仅需极少参数调优，具有广泛适用性与易实现性。