[论文解读] Online Coreset Selection for Rehearsal-based Continual Learning

Jaehong Yoon, Divyam Madaan+2 more|arXiv (Cornell University)|Jun 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 40

一句话总结

OCS 提出在线核心集选择，用于基于回放的持续学习，利用小批量相似性、样本多样性和核心集亲和力，在每次迭代中选择具有代表性和信息量的样本，从而在提升任务适应性的同时减少遗忘。

ABSTRACT

A dataset is a shred of crucial evidence to describe a task. However, each data point in the dataset does not have the same potential, as some of the data points can be more representative or informative than others. This unequal importance among the data points may have a large impact in rehearsal-based continual learning, where we store a subset of the training examples (coreset) to be replayed later to alleviate catastrophic forgetting. In continual learning, the quality of the samples stored in the coreset directly affects the model's effectiveness and efficiency. The coreset selection problem becomes even more important under realistic settings, such as imbalanced continual learning or noisy data scenarios. To tackle this problem, we propose Online Coreset Selection (OCS), a simple yet effective method that selects the most representative and informative coreset at each iteration and trains them in an online manner. Our proposed method maximizes the model's adaptation to a current dataset while selecting high-affinity samples to past tasks, which directly inhibits catastrophic forgetting. We validate the effectiveness of our coreset selection mechanism over various standard, imbalanced, and noisy datasets against strong continual learning baselines, demonstrating that it improves task adaptation and prevents catastrophic forgetting in a sample-efficient manner.

研究动机与目标

• 在现实数据条件下（不平衡、噪声）下，探讨如何在基于回放的持续学习中选择高质量的核心集。
• 开发一个在线的、基于梯度的核心集选择机制，在偏好当前任务相关性的同时，尽量减少对过去任务的干扰。
• 提供一种简单、可扩展且与现有基于回放的持续学习方法兼容的方法。
• 在均衡、非平衡和噪声数据条件下展示鲁棒性，并展示与基线CL方法的协同效果。

提出的方法

• 定义三种基于梯度的选择标准：minibatch 相似性（S），用于衡量数据点对当前小批量的代表性，
• 样本多样性（V），用于减少所选样本之间的冗余，
• 核心集亲和力（A），以最小化与过去任务知识梯度的干扰。
• 通过最大化 S + V + tau*A，在每个小批量中选择前 k 个样本，其中 tau 控制可塑性与稳定性。
• 在当前任务的所选核心集以及回放缓冲区样本上进行训练，使用混合损失更新模型，平衡当前任务适应和过去任务回放（Equation 9）。
• 使每个小批量都能在线构建核心集，并逐步将核心集记忆到固定大小（J）的回放缓冲区，以进行持续学习。

实验结果

研究问题

• RQ1 在基于回放的CL中，如何在线选择核心集以在最大化当前任务适应的同时保护过去任务知识？
• RQ2 基于梯度的标准（相似性、多样性与亲和力）是否能够产生具有代表性且非冗余的核心集，从而在现实数据流中减少遗忘？
• RQ3 所提出的 Online Coreset Selection (OCS) 方法是否与各种CL基准和基线兼容，包括不平衡和噪声设置？

主要发现

• 在均衡、非平衡和嘈杂的持续学习基准上，OCS 在平均准确率和遗忘方面均优于强基线。
• OCS 通过有选择地策划回放缓冲区来实现样本高效提升，而非使用随机或均匀样本。
• OCS 在不同核心集规模下仍然有效，并且可随更大的情节记忆预算扩展。
• OCS 与现有的CL方法兼容，并且可以协同提升任务适应性和缓解遗忘。
• 消融研究支持基于梯度的标准优于基于原始输入的基线的好处。