[论文解读] Towards Better Plasticity-Stability Trade-off in Incremental Learning: A Simple Linear Connector

Guoliang Lin, Hanglu Chu+1 more|arXiv (Cornell University)|Oct 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 4

一句话总结

本文提出一种简单的线性连接器，结合了用于先前任务稳定性的零空间投影网络和用于当前任务可塑性的标准SGD训练网络，在无需存储过去数据的情况下，实现了数据自由增量学习的最先进性能。该方法在不存储历史数据的前提下，改善了可塑性-稳定性权衡，在10等分-CIFAR-100上达到79.79%的准确率，在25等分-TinyImageNet上达到64.61%，优于如Adam-NSCL等先前方法。

ABSTRACT

Plasticity-stability dilemma is a main problem for incremental learning, where plasticity is referring to the ability to learn new knowledge, and stability retains the knowledge of previous tasks. Many methods tackle this problem by storing previous samples, while in some applications, training data from previous tasks cannot be legally stored. In this work, we propose to employ mode connectivity in loss landscapes to achieve better plasticity-stability trade-off without any previous samples. We give an analysis of why and how to connect two independently optimized optima of networks, null-space projection for previous tasks and simple SGD for the current task, can attain a meaningful balance between preserving already learned knowledge and granting sufficient flexibility for learning a new task. This analysis of mode connectivity also provides us a new perspective and technology to control the trade-off between plasticity and stability. We evaluate the proposed method on several benchmark datasets. The results indicate our simple method can achieve notable improvement, and perform well on both the past and current tasks. On 10-split-CIFAR-100 task, our method achieves 79.79% accuracy, which is 6.02% higher. Our method also achieves 6.33% higher accuracy on TinyImageNet. Code is available at https://github.com/lingl1024/Connector.

研究动机与目标

• 解决增量学习中不存储历史数据时的可塑性-稳定性困境。
• 开发一种在保留先前任务知识与学习新任务能力之间实现平衡的方法。
• 利用损失景观中的模式连通性，连接独立优化的网络极小值。
• 为现有回放和正则化方法提供一种理论基础坚实、无需样本的替代方案。
• 在基准数据集上以最小的架构或训练复杂度实现卓越性能。

提出的方法

• 使用零空间投影训练第一个网络，以保留先前任务的知识。
• 通过标准SGD在当前任务上训练第二个网络，以最大化可塑性。
• 通过使用可学习权重β对两个网络进行平均，构建线性连接器。
• 理论分析表明，线性路径最小化了所有任务经验损失的上界。
• 该方法无需存储任何先前数据，满足数据自由增量学习的约束条件。
• 连接器通过一种简单的平均方案进行优化，以平衡稳定性和可塑性。

实验结果

研究问题

• RQ1 在不使用历史数据的情况下，连接两个独立训练的网络极小值的线性路径能否在增量学习中实现高性能？
• RQ2 如何利用损失景观中的模式连通性来改善可塑性-稳定性权衡？
• RQ3 在数据自由增量学习中，稳定性和可塑性（即新任务学习能力）的最佳平衡点是什么？
• RQ4 仅通过简单平均两个专用网络（一个用于稳定性，一个用于可塑性）能否超越复杂的正则化或回放方法？
• RQ5 所提出的方法是否能在不发生灾难性遗忘的前提下，保持所有任务（包括早期任务）的高准确率？

主要发现

• 在10等分-CIFAR-100基准上，所提方法达到79.79%的准确率，较先前方法提升6.02%。
• 在20等分-CIFAR-100上，该方法达到80.80%的准确率，较Adam-NSCL高出4.85%。
• 在25等分-TinyImageNet上，该方法实现64.61%的准确率，较基线方法提升6.33%。
• 该方法实现了更优的可塑性-稳定性权衡，灾难性遗忘偏差（BWT）为-0.92（对比Adam-NSCL的-1.6），不可逆性度量为8.10（对比14.50），表明其具有更优的可塑性。
• 消融研究证实，β ≈ 1/t 在所有数据集上均能提供稳定性和可塑性之间的最佳平衡。
• 两个网络之间的线性路径表现出平滑的准确率过渡，无明显骤降，证实了连接器路径上的稳定泛化能力。