[论文解读] Scalable Topical Phrase Mining from Text Corpora

Ahmed El-Kishky, Yanglei Song+3 more|arXiv (Cornell University)|Jun 24, 2014

Advanced Text Analysis Techniques参考文献 20被引用 18

一句话总结

本文提出 ToPMine，一种可扩展且高效的方法，通过首先使用数据驱动、统计显著的短语挖掘技术将文档分割为短语，然后应用短语约束主题模型，强制短语中的所有词共享同一主题，从而从文本语料库中挖掘主题性短语。该方法在计算开销极低的前提下实现了高质量的主题短语发现，相比传统的基于单字的模型，在可扩展性和可解释性方面优于现有方法，适用于包括科研论文、评论和新闻文章在内的多种数据集。

ABSTRACT

While most topic modeling algorithms model text corpora with unigrams, human interpretation often relies on inherent grouping of terms into phrases. As such, we consider the problem of discovering topical phrases of mixed lengths. Existing work either performs post processing to the inference results of unigram-based topic models, or utilizes complex n-gram-discovery topic models. These methods generally produce low-quality topical phrases or suffer from poor scalability on even moderately-sized datasets. We propose a different approach that is both computationally efficient and effective. Our solution combines a novel phrase mining framework to segment a document into single and multi-word phrases, and a new topic model that operates on the induced document partition. Our approach discovers high quality topical phrases with negligible extra cost to the bag-of-words topic model in a variety of datasets including research publication titles, abstracts, reviews, and news articles.

研究动机与目标

• 为解决基于单字的主题模型在捕捉人类可解释主题方面的局限性，这些模型通常依赖于模糊或低层次的单字。
• 克服现有主题短语模型在可扩展性差和短语发现质量低方面的不足，这些模型通常依赖复杂的生成机制或后处理。
• 开发一种系统性地将短语分配给主题的方法，同时保留短语级别的语义并保持计算效率。
• 通过生成有意义的高质量短语而非孤立的单字，实现有效的主题可视化。
• 构建一个既适用于大规模数据集又便于人类分析的可解释框架。

提出的方法

• 一种新颖的短语挖掘框架，通过数据驱动方法提取频繁且统计显著的短语，无需语言规则或领域知识。
• 基于显著性度量执行受约束的n-gram合并，仅测试相关短语组合以过滤掉虚假候选。
• 将文档分割为短语，形成‘短语袋’表示，作为主题建模的输入。
• 提出一种短语约束主题模型，其中短语中的所有词被强制共享同一潜在主题，通过团势函数（clique potential function）实现主题同质性。
• 将势函数简化为狄拉克函数（方程6），确保短语中所有词被分配到同一主题，从而降低计算复杂度。
• 开发了一种截断吉布斯采样算法用于推理，通过边缘化超参数并高效采样受短语约束的主题分配。

实验结果

研究问题

• RQ1 两阶段方法（先短语挖掘后约束主题建模）是否能比联合短语-主题模型实现更优的主题短语质量？
• RQ2 在短语内部强制实现主题同质性是否能在不牺牲可扩展性的前提下提升可解释性？
• RQ3 纯粹基于数据驱动的短语挖掘方法是否能在识别有意义且上下文相关的短语方面优于基于规则或后处理的方法？
• RQ4 与现有主题短语模型相比，该方法在大规模文本语料库上的可扩展性如何？
• RQ5 短语级别的主题一致性在多大程度上提升了主题模型的人类可解释性？

主要发现

• 所提出的 ToPMine 框架在包括科研论文标题、摘要、评论和新闻文章在内的多样化数据集上实现了高质量的主题短语发现。
• 与标准的词袋LDA相比，该方法的计算开销可忽略不计，即使在中等规模数据集上也表现出极高的可扩展性。
• 通过在短语内部强制实现主题同质性，模型确保短语被一致地分配给主题，从而提升了可解释性和一致性。
• 短语挖掘组件通过仅测试上下文相关的n-gram组合，高效地过滤了虚假候选，减少了假阳性结果且无需人工调参。
• 使用简化的势函数（方程6）实现了可处理的推理，同时在短语内部保持了强主题一致性。
• 实证结果表明，与基于单字的模型及复杂的联合短语-主题模型相比，该短语约束模型在短语质量和可扩展性方面均表现更优。