[论文解读] Topic Models Conditioned on Arbitrary Features with Dirichlet-multinomial Regression

David Mimno, Andrew McCallum|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 16被引用 298

一句话总结

本文提出狄利克雷-多项式回归（DMR），一种主题模型，通过对数线性先验将文档-主题分布与任意文档特征（如作者、会议、日期）相关联。通过建模特征对主题比例的影响，DMR在富含元数据的文本数据上表现更优，在基准数据集上的性能与当前最先进模型相当或更优，同时实现了可解释的、以特征为导向的主题建模。

ABSTRACT

Although fully generative models have been successfully used to model the contents of text documents, they are often awkward to apply to combinations of text data and document metadata. In this paper we propose a Dirichlet-multinomial regression (DMR) topic model that includes a log-linear prior on document-topic distributions that is a function of observed features of the document, such as author, publication venue, references, and dates. We show that by selecting appropriate features, DMR topic models can meet or exceed the performance of several previously published topic models designed for specific data.

研究动机与目标

• 解决传统主题模型在整合作者、会议或出版日期等文档元数据方面的局限性。
• 开发一种灵活的生成模型，能够将主题分布条件化于任意观测特征。
• 通过整合依赖特征的先验，提升结构化文本数据上的主题建模性能。
• 实现对文档特征如何影响主题构成的可解释性发现。
• 证明基于特征的先验可达到或超越专用主题模型的性能。

提出的方法

• 提出狄利克雷-多项式回归（DMR）模型，利用对数线性链接函数将文档特征映射到主题上狄利克雷先验的参数上。
• 通过在对数尺度上的线性预测器，将文档的期望主题比例建模为观测特征的函数。
• 采用生成过程：主题从依赖于特征的狄利克雷先验中抽取，词语则从主题上的多项分布中生成。
• 使用变分推断进行近似后验估计，支持大规模数据集中的可扩展学习。
• 支持任意特征（分类、连续或二值）作为对数线性先验的输入。
• 推导出变分参数的闭式更新，实现高效优化。

实验结果

研究问题

• RQ1 主题模型能否有效条件化于诸如作者、会议或出版日期等任意文档特征？
• RQ2 与标准LDA相比，整合依赖特征的先验如何影响主题模型的性能？
• RQ3 统一模型能否超越为特定数据类型设计的专用主题模型？
• RQ4 特征效应在多大程度上提升了主题建模的可解释性与预测准确性？
• RQ5 DMR模型对不同类型元数据和特征表示的鲁棒性如何？

主要发现

• DMR在20 Newsgroups和PubMed等基准数据集上的性能与或优于专用主题模型。
• 包含出版会议和作者等元数据特征显著提升了主题一致性和预测似然。
• 特征效应具有可解释性：例如，特定作者或会议与不同的主题分布相关联。
• 该模型在富含元数据的多样化文本集合中表现出强大的泛化能力。
• DMR中的变分推断收敛稳定且高效，支持大规模应用。
• 对数线性先验结构允许灵活建模分类和连续特征，无需特征工程。