[论文解读] Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation

Yilin Lyu, Liyuan Wang+5 more|arXiv (Cornell University)|Oct 13, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

该论文提出AdaB2N，一种新颖方法，通过自适应平衡批量归一化（BN）中的历史与当前任务统计量，克服持续学习中BN的近期偏差。该方法结合基于贝叶斯的任务贡献加权策略与改进的动量更新机制，在在线和离线持续学习基准上实现最先进性能——在Split CIFAR-10上准确率最高提升7.68%。

ABSTRACT

Continual learning entails learning a sequence of tasks and balancing their knowledge appropriately. With limited access to old training samples, much of the current work in deep neural networks has focused on overcoming catastrophic forgetting of old tasks in gradient-based optimization. However, the normalization layers provide an exception, as they are updated interdependently by the gradient and statistics of currently observed training samples, which require specialized strategies to mitigate recency bias. In this work, we focus on the most popular Batch Normalization (BN) and provide an in-depth theoretical analysis of its sub-optimality in continual learning. Our analysis demonstrates the dilemma between balance and adaptation of BN statistics for incremental tasks, which potentially affects training stability and generalization. Targeting on these particular challenges, we propose Adaptive Balance of BN (AdaB$^2$N), which incorporates appropriately a Bayesian-based strategy to adapt task-wise contributions and a modified momentum to balance BN statistics, corresponding to the training and testing stages. By implementing BN in a continual learning fashion, our approach achieves significant performance gains across a wide range of benchmarks, particularly for the challenging yet realistic online scenarios (e.g., up to 7.68%, 6.86% and 4.26% on Split CIFAR-10, Split CIFAR-100 and Split Mini-ImageNet, respectively). Our code is available at https://github.com/lvyilin/AdaB2N.

研究动机与目标

• 解决持续学习中批量归一化（BN）统计量的近期偏差问题，即由于梯度和统计量更新，近期任务占据主导地位。
• 识别在BN中平衡历史任务统计量与适应当前任务分布之间的固有权衡。
• 通过动态调整BN统计量而不依赖旧数据，在保持训练稳定性和泛化能力的同时实现方法的稳定性。
• 在在线（单遍）和离线（多轮）持续学习设置中均实现优异性能，尤其在类别增量和任务增量场景下。
• 提供理论基础扎实、可扩展的解决方案，适用于现实世界中对历史数据访问受限的持续学习场景。

提出的方法

• 提出基于贝叶斯的策略，通过基于激活统计量的类别分布对任务身份进行条件化，以估计任务对BN统计量的贡献。
• 提出一种基于估计任务贡献自适应调整的改进指数移动平均（EMA）动量，实现稳定性和适应性之间的平衡。
• 将训练与推理阶段解耦：训练期间使用自适应动量以稳定学习；推理期间保持兼顾历史的BN统计量估计。
• 引入正则化项并设置超参数λ，以控制新任务统计量对BN的影响，确保平滑适应。
• 使用狄利克雷先验以计算效率近似任务分布，实现任务贡献的在线估计。
• 在标准DNN中通过BN层实现该方法，无需架构修改或旧样本的内存回放。

实验结果

研究问题

• RQ1 标准EMA-based BN更新在持续学习中为何导致近期偏差？常数动量EMA的理论局限性是什么？
• RQ2 在BN层中，平衡所有任务统计量与适应当前任务分布之间存在何种根本性权衡？
• RQ3 基于贝叶斯的任务贡献估计是否能改善持续学习中BN统计量的平衡性与适应性？
• RQ4 AdaB2N中的改进动量如何调和长期稳定与短期适应之间的张力？
• RQ5 AdaB2N在在线和离线持续学习设置中，相较于现有BN自适应策略，性能提升程度如何？

主要发现

• 在在线类别增量学习中，AdaB2N在Split CIFAR-10上实现7.68%的准确率提升，在Split CIFAR-100上提升6.86%，在Split Mini-ImageNet上提升4.26%，显著优于基线BN和先前方法。
• 在离线设置中，该方法保持强劲性能，在Task-IL上比BN提升1.28%，在Class-IL上（2000内存缓冲区）提升0.38%（Split Mini-ImageNet）。
• 消融实验表明，贝叶斯贡献加权与自适应动量均不可或缺，且在广泛超参数组合下均保持一致的性能增益。
• BN统计量的可视化显示，AdaB2N与联合训练基线（上界）高度接近，而标准BN和CN方法随时间显著偏离。
• 该方法对内存缓冲区选择策略具有鲁棒性，在蓄水池采样和环形缓冲区内存管理下均表现出相似的性能增益。
• 即使在其他方法（如CN）性能下降的挑战性离线设置中，AdaB2N仍持续提升准确率，展现出其泛化能力和稳定性。