[论文解读] Prediction-Constrained Topic Models for Antidepressant Recommendation

Michael C. Hughes, Gabriel Hope+5 more|arXiv (Cornell University)|Dec 1, 2017

Topic Modeling参考文献 16被引用 5

一句话总结

本文提出了一种预测约束（PC）主题模型，通过平衡电子健康记录（EHR）数据的生成建模与治疗结果的准确预测，提升了抗抑郁药物推荐的性能。与以往将数据和标签似然性混淆的监督主题模型不同，PC-sLDA 显式优化标签预测性能，同时保持可解释的主题-词分布，在预测 AUC 和生成似然性方面均优于基线模型。

ABSTRACT

Supervisory signals can help topic models discover low-dimensional data representations that are more interpretable for clinical tasks. We propose a framework for training supervised latent Dirichlet allocation that balances two goals: faithful generative explanations of high-dimensional data and accurate prediction of associated class labels. Existing approaches fail to balance these goals by not properly handling a fundamental asymmetry: the intended task is always predicting labels from data, not data from labels. Our new prediction-constrained objective trains models that predict labels from heldout data well while also producing good generative likelihoods and interpretable topic-word parameters. In a case study on predicting depression medications from electronic health records, we demonstrate improved recommendations compared to previous supervised topic models and high- dimensional logistic regression from words alone.

研究动机与目标

• 解决监督主题模型中因高维 EHR 数据导致生成似然性主导标签预测的问题。
• 纠正预测任务中的根本不对称性：从数据预测标签，而非从标签预测数据。
• 开发一种训练目标，以在保持高质量主题-词分布的同时提升下游标签预测的准确性。
• 证明 PC-sLDA 在从 EHR 中预测抗抑郁药物疗效方面，优于现有监督主题模型和高维逻辑回归。

提出的方法

• 引入一种预测约束（PC）目标，显式优化在保留数据集上的预测性能，同时保持词频的生成建模。
• 使用混合目标训练主题模型，通过约束优化框架平衡观测词的似然性和标签预测的准确性。
• 采用变分推断方法近似文档-主题分布的后验分布，并通过正则化使主题与预测效用对齐。
• 从 Gibbs-LDA 初始化模型以提升收敛性和可解释性，从而实现主题演化过程的直接比较。
• 在去标识化的 EHR 数据上，将 PC 目标应用于多标签抗抑郁药物推荐任务，包含 5,126 个代码词和 11 种抗抑郁药物。
• 使用保留数据的负对数似然（生成性能）和 AUC（判别性能）进行性能评估，并与 sLDA、Gibbs-LDA 和逻辑回归进行比较。

实验结果

研究问题

• RQ1 是否可以训练一种监督主题模型，使其在模型误设的情况下，既能良好解释 EHR 数据，又能准确预测抗抑郁药物疗效？
• RQ2 显式约束预测性能是否能提升 sLDA 中联合似然最大化在标签预测方面的表现？
• RQ3 PC-sLDA 学习到的主题-词分布与无监督 LDA 相比，在临床可解释性和预测能力方面有何不同？
• RQ4 当仅使用 EHR 中的词频进行抗抑郁药物推荐时，PC-sLDA 是否能优于高维逻辑回归？
• RQ5 在增加主题数量时，PC 目标是否相比其他监督模型（如 BP-sLDA）更能防止过拟合？

主要发现

• 当使用足够多的主题时，PC-sLDA 在 11 种抗抑郁药物上的保留 AUC（判别性能）均高于 Gibbs-LDA 和逻辑回归。
• PC-sLDA 在保留负对数似然性方面优于 BP-sLDA，表明其在 EHR 词频生成建模方面表现更优。
• PC-sLDA 学习到的主题-词分布更具可解释性和临床相关性，其主题从一般预防性护理逐步演化为聚焦于咨询相关术语。
• 从 Gibbs-LDA 初始化的 PC-sLDA 展现出显著的主题结构演化，其中一个主题从常规疫苗接种演变为聚焦于行为改变的长期初级保健就诊。
• 随着主题数量增加，BP-sLDA 出现严重过拟合，其似然性和性能均劣于 PC-sLDA。
• PC-sLDA 成功平衡了双重目标：既能良好解释 EHR 数据，又能比以往的监督主题模型更准确地预测抗抑郁药物疗效。