[论文解读] Why Pay More When You Can Pay Less: A Joint Learning Framework for Active Feature Acquisition and Classification

Hajin Shim, Sung Ju Hwang+1 more|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms参考文献 19被引用 8

一句话总结

该论文提出了一种联合学习框架，结合强化学习（RL）与分类，实现成本效益更高的主动特征获取，其中RL智能体按顺序选择特征，以最小化获取成本并最大化预测准确率。该方法采用无序LSTM的集合编码机制，并联合训练RL智能体与分类器，在合成数据集和真实EHR数据集上均表现出色，使用更少特征实现了更高的AUC值。

ABSTRACT

We consider the problem of active feature acquisition, where we sequentially select the subset of features in order to achieve the maximum prediction performance in the most cost-effective way. In this work, we formulate this active feature acquisition problem as a reinforcement learning problem, and provide a novel framework for jointly learning both the RL agent and the classifier (environment). We also introduce a more systematic way of encoding subsets of features that can properly handle innate challenge with missing entries in active feature acquisition problems, that uses the orderless LSTM-based set encoding mechanism that readily fits in the joint learning framework. We evaluate our model on a carefully designed synthetic dataset for the active feature acquisition as well as several real datasets such as electric health record (EHR) datasets, on which it outperforms all baselines in terms of prediction performance as well feature acquisition cost.

研究动机与目标

• 为解决在预测过程中以成本敏感方式获取特征的挑战，特别是在数据收集成本高昂的医疗场景中。
• 将主动特征获取建模为一个强化学习问题，联合优化预测性能与特征获取成本。
• 设计一个统一框架，使RL智能体与分类器共享表征，实现系统化且稳定的训练，无需预定义模型。
• 通过一种新颖的集合编码机制，处理缺失特征与可变获取成本，同时保持特征顺序不变性。
• 在合成数据集与真实世界EHR数据集上实证验证该框架，证明其在显著降低特征获取成本的同时实现更优性能。

提出的方法

• 将主动特征获取建模为带有成本敏感正则化的强化学习问题，以平衡预测损失与获取成本。
• 引入基于无序LSTM的集合编码器，用于表示特征子集，有效处理缺失条目，并支持联合训练。
• 采用DQN算法，结合经验回放与延迟目标更新，以稳定在实值特征空间中的训练过程。
• 通过多任务深度网络联合训练RL智能体与分类器，共享底层表征用于特征编码。
• 在动作空间中增加一个空动作（∅），允许在置信度足够时提前终止特征获取。
• 利用分类器的预测结果来塑造RL智能体的奖励信号，形成反馈回路，从而同时提升特征选择与预测性能。

实验结果

研究问题

• RQ1 与顺序或独立训练相比，RL智能体与分类器之间的联合学习框架是否能提升成本效益特征获取的表现？
• RQ2 如何有效编码缺失或不完整的特征集合，以保持预测能力并支持端到端训练？
• RQ3 在RL智能体与分类器之间共享潜在表征是否能带来更优性能与更高效的特征获取？
• RQ4 所提出的框架是否能在显著减少特征使用量的前提下，实现优于全特征基线模型的预测准确率？
• RQ5 在真实世界中类别不平衡的医疗数据集（如EHR数据）上，该模型表现如何，特别是在特征获取成本高昂的场景下？

主要发现

• 该框架在EHR数据集上即使仅使用原始特征的少量子集，也能实现接近全特征MLP的AUC得分。
• 在PhysioNet 2012 ICU数据集上，模型将Glasgow昏迷评分（GCS）、血尿素氮与血清肌酐等临床相关特征列为优先获取对象。
• 与所有基线模型（包括仅DQN与独立训练模型）相比，该模型显著降低了特征获取成本，同时保持或提升了预测性能。
• 框架中的改进版RAM变体在获取更少特征的前提下，准确率仍优于原始RAM，证明了∅动作与奖励塑造的有效性。
• 采用共享表征的联合训练相比独立训练RL智能体与分类器，性能更优，证实了信息共享的价值。
• 该框架成功处理了EHR数据中的类别不平衡问题，而DWSC与Q-only等基线模型则退化为始终预测多数类。