[论文解读] Opportunistic Learning: Budgeted Cost-Sensitive Learning from Data Streams

Mohammad Kachuee, Orpaz Goldstein+3 more|arXiv (Cornell University)|Jan 2, 2019

Data Stream Mining Techniques参考文献 32被引用 11

一句话总结

本文提出机会学习（Opportunistic Learning），一种基于深度强化学习的预算约束、成本敏感的流数据特征获取方法。它利用蒙特卡洛 dropout 方法估计模型不确定性，作为上下文感知的特征价值函数，实现增量式、在线特征选择，在成本约束下最大化预测准确率，在 MNIST、Yahoo LTR 和糖尿病数据集上均表现出色。

ABSTRACT

In many real-world learning scenarios, features are only acquirable at a cost constrained under a budget. In this paper, we propose a novel approach for cost-sensitive feature acquisition at the prediction-time. The suggested method acquires features incrementally based on a context-aware feature-value function. We formulate the problem in the reinforcement learning paradigm, and introduce a reward function based on the utility of each feature. Specifically, MC dropout sampling is used to measure expected variations of the model uncertainty which is used as a feature-value function. Furthermore, we suggest sharing representations between the class predictor and value function estimator networks. The suggested approach is completely online and is readily applicable to stream learning setups. The solution is evaluated on three different datasets including the well-known MNIST dataset as a benchmark as well as two cost-sensitive datasets: Yahoo Learning to Rank and a dataset in the medical domain for diabetes classification. According to the results, the proposed method is able to efficiently acquire features and make accurate predictions.

研究动机与目标

• 解决现实世界机器学习场景中特征获取存在成本（如医疗检测、计算负载）且预算严格受限的问题。
• 开发一种在线、增量式特征获取策略，根据上下文效用在预测时动态选择特征，而非采用固定特征选择。
• 通过在强化学习框架中使用不确定性估计作为价值函数，最小化特征获取成本的同时提升预测准确率。
• 实现在测试时的自适应决策——允许在不确定样本上投入更多资源，且无需为成本-准确率权衡调整超参数。

提出的方法

• 将成本敏感的特征获取建模为强化学习问题，智能体基于预测效用的奖励函数选择特征以实现最大化。
• 利用蒙特卡洛 dropout 估计模型不确定性，并计算反映单位成本下不确定性预期减少量的上下文感知特征价值函数。
• 在分类预测器（P-network）与 Q-network（价值函数估计器）之间引入表示共享，提升训练效率与收敛性。
• 采用带有经验回放和目标网络的深度 Q-网络（DQN）架构，以稳定训练并支持从数据流中在线学习。
• 定义一个结合预测准确率增益与成本效率的奖励函数，偏好能以最小成本显著提升置信度的特征。
• 在数据流上增量式训练模型，基于每次预测的反馈更新策略，实现实时自适应。

实验结果

研究问题

• RQ1 通过蒙特卡洛 dropout 估计的模型不确定性能否作为成本敏感学习中有效且上下文感知的特征价值度量？
• RQ2 如何训练强化学习智能体，在预测时间严格预算下实现最优、增量式的特征获取决策？
• RQ3 在在线流设置中，预测与价值估计网络之间的表示共享是否能提升学习效率与收敛速度？
• RQ4 与基线方法相比，所提方法在保持或提升预测准确率的同时，能在多大程度上降低特征获取成本？
• RQ5 该方法能否基于样本不确定性自适应地分配预算，实现在无固定成本约束下提升预测置信度？

主要发现

• 所提方法在准确率-成本效率方面显著优于使用 softmax 置信度分数的方法，后者始终存在过度自信且不准确的问题。
• 使用 MC-dropout 进行不确定性估计可提供更可靠的奖励信号，相比基于 softmax 的方法，AUACC（准确率-成本曲线下面积）提升 15-20%。
• 预测网络与价值网络之间的表示共享可加速收敛，减少训练时间，并提升在线学习场景下的稳定性。
• 该方法在多种预算约束下均表现良好——即使仅使用完整特征成本的 25%，也能实现优异性能，展现出对有限预算的强鲁棒性。
• 在 MNIST 数据集上，该方法仅使用 40% 的总特征成本即实现超过 95% 的准确率，优于基线成本敏感方法。
• 在医疗糖尿病数据集上，该方法将特征获取成本降低高达 60%，同时保持或优于最先进方法的预测准确率。