[论文解读] Prediction Focused Topic Models via Feature Selection
该论文提出了一种面向预测的sLDA（pf-sLDA），这是一种监督主题模型，通过变分特征选择识别并排除主题学习过程中与预测目标无关的词汇项。通过过滤掉非预测性且高频的词汇，pf-sLDA在保持竞争性预测准确率的同时提升了主题一致性，在包括电影评论和癫痫检测在内的真实世界数据集上优于现有方法。
Supervised topic models are often sought to balance prediction quality and interpretability. However, when models are (inevitably) misspecified, standard approaches rarely deliver on both. We introduce a novel approach, the prediction-focused topic model, that uses the supervisory signal to retain only vocabulary terms that improve, or at least do not hinder, prediction performance. By removing terms with irrelevant signal, the topic model is able to learn task-relevant, coherent topics. We demonstrate on several data sets that compared to existing approaches, prediction-focused topic models learn much more coherent topics while maintaining competitive predictions.
研究动机与目标
- 解决监督主题模型中主题可解释性与预测性能之间的权衡问题。
- 识别并排除与预测目标无关的词汇项，这些词汇会降低主题一致性和模型性能。
- 开发一种方法，同时学习具有预测性的主题并利用监督信号执行特征选择。
- 通过显式建模特征无关性，超越现有监督主题模型（如pc-sLDA和sLDA）。
- 证明基于模型推断相关性的特征选择优于基于相关性的过滤方法，在主题质量和预测性能方面表现更优。
提出的方法
- pf-sLDA通过引入一个变分特征选择器φv扩展了监督LDA，用于判断每个词是否与预测相关。
- 模型使用变分推理框架，在具有约束变分族的图模型上联合优化主题分布β和特征选择器φ。
- 引入一个专门的主题π来建模来自无关特征的残差信号，并通过约束βTπ = 0保持正交性，防止干扰。
- 目标函数平衡数据的边缘似然和目标的条件似然，通过一个超参数控制一致性与预测性能之间的权衡。
- 使用随机梯度下降（SGD）优化联合似然的证据下界（ELBO）。
- 通过仅保留φv > 0.99的词汇项执行特征选择，有效过滤掉对预测无贡献的词汇。
实验结果
研究问题
- RQ1监督主题模型能否通过显式识别并排除与预测目标无关的特征来提升主题一致性？
- RQ2基于模型推断相关性的特征选择是否优于基于相关性的过滤方法，在保持主题一致性和预测性能方面表现更优？
- RQ3为无关特征引入残差主题π对主题质量和模型优化有何影响？
- RQ4pf-sLDA能否在显著提升主题可解释性的同时，保持与sLDA和pc-sLDA相当的预测准确率？
- RQ5强制相关主题β与残差主题π正交对模型收敛性和性能有何影响？
主要发现
- 在Pang和Lee的电影评论数据集上，pf-sLDA在主题一致性方面优于sLDA和pc-sLDA，且RMSE更低，主题表现出更清晰的情感极性。
- pf-sLDA优于基于相关性的过滤方法：由φv > 0.99筛选出的词汇训练出的主题比基于前N个相关词汇的主题更具一致性和预测性。
- 该模型成功过滤掉了常见但无关的词汇项，如'comedy'（喜剧）、'action'（动作）和'plot'（剧情），这些词汇在标准sLDA和pc-sLDA中会污染主题。
- 定性分析表明，pf-sLDA的主题具有与情感强度高度一致的回归系数，高情感主题明显为正，低情感主题明显为负。
- 引入残差主题π有效实现了相关特征与无关特征的解耦，提升了主题的稳定性和可解释性。
- 在合成数据上，pf-sLDA表现出色，证实当存在无关词汇时，特征选择能有效提升主题恢复能力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。