[论文解读] Reinforced Data Sampling for Model Diversification

Hoang D. Nguyen, Xuan-Son Vu+2 more|arXiv (Cornell University)|Jun 12, 2020

Data Stream Mining Techniques参考文献 17被引用 5

一句话总结

本文提出了一种基于强化学习的强化数据采样（RDS）方法，通过利用多个基础模型作为价值函数，训练采样器以选择多样化且高潜力的数据子集。RDS在分类和回归任务中均提升了模型的多样性与学习性能，在四个真实世界数据集上显著优于传统的随机采样、分层采样和预设划分方法，显著提升了集成模型和基础模型的准确率。

ABSTRACT

With the rising number of machine learning competitions, the world has witnessed an exciting race for the best algorithms. However, the involved data selection process may fundamentally suffer from evidence ambiguity and concept drift issues, thereby possibly leading to deleterious effects on the performance of various models. This paper proposes a new Reinforced Data Sampling (RDS) method to learn how to sample data adequately on the search for useful models and insights. We formulate the optimisation problem of model diversification $δ{-div}$ in data sampling to maximise learning potentials and optimum allocation by injecting model diversity. This work advocates the employment of diverse base learners as value functions such as neural networks, decision trees, or logistic regressions to reinforce the selection process of data subsets with multi-modal belief. We introduce different ensemble reward mechanisms, including soft voting and stochastic choice to approximate optimal sampling policy. The evaluation conducted on four datasets evidently highlights the benefits of using RDS method over traditional sampling approaches. Our experimental results suggest that the trainable sampling for model diversification is useful for competition organisers, researchers, or even starters to pursue full potentials of various machine learning tasks such as classification and regression. The source code is available at https://github.com/probeu/RDS.

研究动机与目标

• 解决机器学习竞赛和现实任务中因证据模糊性和概念漂移导致的数据采样问题，这些问题会降低模型的泛化能力。
• 制定一个用于模型多样化的优化问题（δ-div），通过选择多样化数据子集以最大化学习潜力。
• 开发一种可训练的采样框架，利用多样化基础学习器（如神经网络、决策树、逻辑回归）作为价值函数，以指导数据选择。
• 引入新颖的集成奖励机制——软投票和随机选择，以在强化学习中近似最优采样策略。
• 实现比例均衡、分布正则化的采样，保持类别平衡的同时提升模型多样性与性能。

提出的方法

• 将模型多样化问题δ-div形式化为一个强化学习任务，其中智能体学习采样数据子集，以在多样化基础模型上最大化学习潜力。
• 采用多样化基础学习器（如SVM、正则化回归、神经网络、决策树）作为价值函数，以估计数据子集的长期奖励。
• 提出两种新颖的奖励机制：软投票用于提升集成一致性，随机选择用于引入模型分歧以增强多样性。
• 采用策略梯度方法训练采样器，奖励由多个学习周期中模型性能与多样性度量共同塑造。
• 应用分布正则化，确保在各类别间实现均衡采样，尤其在类别不平衡数据集中至关重要。
• 采用端到端框架，采样器在完整数据集上进行训练，可应用于机器学习流程的早期阶段。

实验结果

研究问题

• RQ1 强化学习能否有效用于训练数据采样器，以提升模型多样性与学习潜力？
• RQ2 不同的集成奖励机制——软投票与随机选择——如何影响训练后采样器的性能？
• RQ3 RDS在模型准确率与多样性方面是否优于经典采样方法（如随机采样、分层采样、预设划分）？
• RQ4 在类别不平衡数据集中，RDS在提升模型性能的同时，能在多大程度上保持类别平衡？
• RQ5 RDS框架能否在不同数据类型（文本、图像、表格）和模型架构之间实现泛化？

主要发现

• 在Madelon数据集上，采用随机选择奖励机制的RDS显著优于所有基线方法，包括分层采样和预设划分，逻辑回归性能提升了6.7%（0.5997 vs. 0.5350）。
• 在Drug Reviews数据集上，RDS STO相比最佳基线方法，使MLP模型性能提升了10.5%（0.6354 vs. 0.5802）。
• RDS DET在所有数据集上均表现出一致的性能提升，MNIST数据集上集成准确率提升1.5%（0.6057 vs. 0.5983），Kalapa信用评分数据集上提升1.5%（0.6096 vs. 0.5953）。
• 随机选择机制展现出更优的优化动态，收敛速度更快，学习梯度更稳定，优于确定性方法。
• RDS在保持与分层采样相当的类别比例平衡的同时，显著超越其模型性能，表明多样性与平衡可协同优化。
• 所提方法在四个基准数据集（Madelon、Drug Reviews、MNIST、Kalapa）上，涵盖二分类与多分类及回归任务，均达到最先进性能。