[论文解读] Prediction-Constrained Training for Semi-Supervised Mixture and Topic Models

Michael C. Hughes, Leah Weiner+5 more|arXiv (Cornell University)|Jul 23, 2017

Topic Modeling参考文献 55被引用 4

一句话总结

本文提出了一种用于半监督混合模型与主题模型的预测约束（PC）训练框架，通过显式处理预测任务中的不对称性（即从数据预测标签，而非反之），联合优化数据建模保真度与预测准确性。该方法使用带有自动微分的随机梯度下降训练模型，在保持高维逻辑回归竞争性预测性能的同时，学习到可解释的低维表示，适用于文本和电子健康记录数据。

ABSTRACT

Supervisory signals have the potential to make low-dimensional data representations, like those learned by mixture and topic models, more interpretable and useful. We propose a framework for training latent variable models that explicitly balances two goals: recovery of faithful generative explanations of high-dimensional data, and accurate prediction of associated semantic labels. Existing approaches fail to achieve these goals due to an incomplete treatment of a fundamental asymmetry: the intended application is always predicting labels from data, not data from labels. Our prediction-constrained objective for training generative models coherently integrates loss-based supervisory signals while enabling effective semi-supervised learning from partially labeled data. We derive learning algorithms for semi-supervised mixture and topic models using stochastic gradient descent with automatic differentiation. We demonstrate improved prediction quality compared to several previous supervised topic models, achieving predictions competitive with high-dimensional logistic regression on text sentiment analysis and electronic health records tasks while simultaneously learning interpretable topics.

研究动机与目标

• 解决预测任务中的根本不对称性，即从数据预测标签，而非反之。
• 在仅部分标签可用的半监督设置中提升预测性能。
• 平衡高维数据忠实生成建模与语义标签准确下游预测的双重目标。
• 克服两阶段训练和基于联合似然的监督模型的局限性，这些方法在泛化能力上表现不佳。
• 实现既忠实于数据又对预测有用的可解释低维表示。

提出的方法

• 提出一种预测约束（PC）目标，通过在满足最小预测准确度阈值的条件下最大化观测数据的边际似然。
• 使用带有自动微分的随机梯度下降优化PC目标，支持灵活适配各种损失函数。
• 将该框架应用于混合模型与主题模型（如PC-LDA），在不假设数据与标签依赖对称的前提下，一致地整合监督信号。
• 训练期间对潜变量使用MAP推断，并通过推断过程反向传播梯度。
• 通过超参数λ约束预测性能，实现对部分标注数据的半监督学习。
• 探索初始化与优化策略以缓解局部最优问题，但发现标准无监督方法（如谱主题建模）作为起点效果不佳。

实验结果

研究问题

• RQ1 如何训练潜变量模型，以同时实现高质量的数据建模与准确的标签预测？
• RQ2 为何现有监督主题模型即使增加模型容量也无法提升预测性能？
• RQ3 如何在生成建模框架中恰当地处理预测任务的不对称性——即从数据预测标签，而非反之？
• RQ4 通过在训练期间显式约束预测准确性，能否实现更好的半监督性能？
• RQ5 在潜变量模型中，针对非凸且带约束的目标，哪些优化策略是有效的？

主要发现

• 预测约束框架在文本情感分析与电子健康记录任务中，实现了与高维逻辑回归相当的预测性能。
• 该方法通过显式建模预测的不对称性，优于以往的监督主题模型，实现了更好的泛化能力与更可解释的主题。
• 即使使用100个主题，当λ=100时，PC-LDA在K=100时表现仍欠佳，经追踪发现是陷入局部最优，表明即便使用现代梯度方法，优化仍具挑战。
• 标准无监督初始化技术（如谱方法、锚定词）未能改善收敛性，因模型仍被困在较差的局部最优解附近。
• PC目标实现了有效的半监督学习，使模型能利用未标注数据，同时保持强大的预测性能。
• 自动微分简化了对自定义损失函数（如多标签分类）的扩展，无需手动推导梯度。