[论文解读] Supervised Topic Models

David M. Blei, Jon McAuliffe|arXiv (Cornell University)|Mar 3, 2010

Bayesian Methods and Mixture Models参考文献 26被引用 1,316

一句话总结

本文提出了一种监督潜在狄利克雷分配（sLDA），这是一种联合建模文档词汇与响应变量的概率模型，旨在提升预测性能。通过在变分推断与期望最大化（EM）优化框架下将响应变量整合进主题建模，sLDA 在真实任务（如预测电影评分与美国参议院修正案语气）中，优于先使用无监督LDA再进行回归的方法以及套索回归。

ABSTRACT

We introduce supervised latent Dirichlet allocation (sLDA), a statistical model of labelled documents. The model accommodates a variety of response types. We derive an approximate maximum-likelihood procedure for parameter estimation, which relies on variational methods to handle intractable posterior expectations. Prediction problems motivate this research: we use the fitted model to predict response values for new documents. We test sLDA on two real-world problems: movie ratings predicted from reviews, and the political tone of amendments in the U.S. Senate based on the amendment text. We illustrate the benefits of sLDA versus modern regularized regression, as well as versus an unsupervised LDA analysis followed by a separate regression.

研究动机与目标

• 开发一种统计模型，联合建模文档文本与响应变量，以提升文本分析中的预测性能。
• 解决无监督LDA在预测任务中的局限性，即主题可能与语料库结构（如类型）对齐，而非与预测特征（如情感）对齐。
• 提供一种无监督主题建模的监督替代方案，直接针对标记文档的预测准确性进行优化。
• 证明将响应变量整合进主题建模可获得优于使用无监督主题进行标准特征工程或正则化回归的预测性能。
• 将主题模型的应用范围从描述性分析扩展至现实世界中具有多样化响应类型的预测建模。

提出的方法

• 提出监督LDA（sLDA），一种生成模型，其中文档主题受响应变量通过主题比例分布中的线性预测器影响。
• 采用变分推断方法，近似最大似然估计所需的不可计算后验期望。
• 使用EM算法迭代优化模型参数，其中E步计算近似后验，M步更新主题与响应参数。
• 推导出指数族响应分布（包括高斯与泊松响应）的特定推断与估计算法。
• 通过将每个文档的词分布建模为主题的混合，且主题比例条件依赖于响应变量，将模型应用于文档-响应对。
• 在主题比例的狄利克雷先验中引入响应特定的线性预测器，使主题结构受预测相关性的引导。

实验结果

研究问题

• RQ1 能否将主题模型改进以整合响应变量，从而在预测性能上超越无监督LDA与标准回归？
• RQ2 当使用原始词频作为特征进行预测时，sLDA与套索回归相比表现如何？
• RQ3 当目标为预测时，监督主题建模是否能产生比无监督LDA更具可解释性与预测力的主题？
• RQ4 sLDA能否有效建模多样化响应类型，如连续评分与分类政策立场？
• RQ5 与标准特征工程流程相比，将响应信息整合进主题建模在多大程度上降低了预测误差？

主要发现

• 在电影评论数据上，sLDA实现了0.432的预测决定系数（R²），略高于最佳套索模型的0.426，预测准确率提升约2%。
• 在第109届美国参议院数据上，sLDA实现了0.27的预测R²，较最佳套索模型（0.15）提升80%。
• 在第110届美国参议院数据上，sLDA实现了0.23的预测R²，较最佳套索模型（0.16）提升43%。
• sLDA在所有数据集上均持续优于无监督LDA后接线性回归的基线方法，展现出更强的预测能力。
• 该模型识别出与政策议题相关的可解释主题，如第109届参议院中的右翼医疗保健修正案与左翼拨款/移民议题，展示了实际可解释性。
• sLDA不仅提供更优的预测结果，还提供可用于下游分析的潜在主题结构，而套索模型仅输出一个预测规则。