[论文解读] On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning

Lorenzo Bonicelli, M. Boschini+3 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出 Lipschitz-Driven Rehearsal (LiDER)，一种正则化方法，通过在持续学习过程中约束神经网络的逐层 Lipschitz 常数，以稳定决策边界并缓解缓存过拟合问题。通过在输入扰动下强制模型响应的平滑性，LiDER 提升了泛化能力，并在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上，无论是否使用预训练，均持续提升了多种最先进重放方法的性能。

ABSTRACT

Rehearsal approaches enjoy immense popularity with Continual Learning (CL) practitioners. These methods collect samples from previously encountered data distributions in a small memory buffer; subsequently, they repeatedly optimize on the latter to prevent catastrophic forgetting. This work draws attention to a hidden pitfall of this widespread practice: repeated optimization on a small pool of data inevitably leads to tight and unstable decision boundaries, which are a major hindrance to generalization. To address this issue, we propose Lipschitz-DrivEn Rehearsal (LiDER), a surrogate objective that induces smoothness in the backbone network by constraining its layer-wise Lipschitz constants w.r.t. replay examples. By means of extensive experiments, we show that applying LiDER delivers a stable performance gain to several state-of-the-art rehearsal CL methods across multiple datasets, both in the presence and absence of pre-training. Through additional ablative experiments, we highlight peculiar aspects of buffer overfitting in CL and better characterize the effect produced by LiDER. Code is available at https://github.com/aimagelab/LiDER

研究动机与目标

• 解决由于在小规模重放缓存上过拟合导致的决策边界不稳定性这一隐藏缺陷。
• 通过引入 Lipschitz 正则化来强制模型预测的平滑性，从而提升基于重放的持续学习中的泛化能力和鲁棒性。
• 探究 Lipschitz 约束是否能系统性地提升多种不同重放方法和数据集上的性能。
• 分析缓存过拟合的影响，并证明 LiDER 在缓解其对决策边界负面影响方面的有效性。
• 提供一种实用、即插即用的正则化方法，可无缝集成到现有重放框架中。

提出的方法

• LiDER 引入了一种代理目标，通过重放样本约束神经网络的逐层 Lipschitz 常数。
• 该方法使用谱归一化估计全连接层和卷积层 Lipschitz 常数的上界，强制实现全局 1-Lipschitz 性质。
• 通过在损失函数中添加惩罚项，在训练过程中施加正则化，以限制单位输入变化下网络输出的最大变化量。
• 该方法与多种重放方法兼容，包括 Experience Replay (ER)、DER++ 和 ER-ACE，且可应用于有或无预训练的场景。
• 评估采用标准准确率和鲁棒性指标，包括对抗鲁棒性和极小值点的 Hessian 平坦度。
• 消融研究将 LiDER 与固定目标优化策略进行对比，并分析超参数敏感性，证实其优越性。

实验结果

研究问题

• RQ1 在重放样本上强制实施 Lipschitz 连续性是否能提升持续学习中的决策边界稳定性和泛化能力？
• RQ2 与固定目标优化策略相比，LiDER 在性能和鲁棒性方面表现如何？
• RQ3 LiDER 在多大程度上缓解了缓存过拟合对决策边界的负面影响？
• RQ4 LiDER 是否无需架构修改即可有效应用于不同重放方法和数据集？
• RQ5 LiDER 对损失景观的平坦度以及对权重扰动的鲁棒性有何影响？

主要发现

• LiDER 在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上，无论是否使用预训练，均持续提升了多种最先进重放方法的准确率。
• 通过 Hessian 特征值之和的测量，LiDER 使极小值点更平坦，表明其具有更好的泛化特性。
• 与基线重放方法相比，使用 LiDER 训练的模型在权重扰动和对抗攻击下表现出显著更高的鲁棒性。
• 消融研究证实，LiDER 优于固定目标优化策略，后者无法实现相当的性能提升。
• 决策边界的可视化显示，LiDER 在重放样本周围保持了鲁棒性，而基线方法随时间推移表现出尖锐且恶化的边界。
• 在缓存规模较小、过拟合风险最高的场景中，LiDER 的性能提升最为显著。