[论文解读] SOLA: Continual Learning with Second-Order Loss Approximation.

Dong Yin, Mehrdad Farajtabar+1 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 14

一句话总结

该论文提出SOLA，一种持续学习方法，通过使用先前任务损失函数的二阶泰勒近似来缓解灾难性遗忘，而无需存储原始数据或梯度。通过近似损失曲面，SOLA 实现了有效的顺序学习，同时保护隐私，并在标准基准上优于多个基线方法。

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, it is observed that their performance on old tasks tend to drop significantly after the model is trained on new tasks. Continual learning aims to tackle this problem often referred to as catastrophic forgetting and to ensure sequential learning capability. We study continual learning from the perspective of loss landscapes and propose to construct a second-order Taylor approximation of the loss functions in previous tasks. Our proposed method does not require any memorization of raw data or their gradients, and therefore, offers better privacy protection. We theoretically analyze our algorithm from an optimization viewpoint and provide a sufficient and worst-case necessary condition for the gradient updates on the approximate loss function to be descent directions for the true loss function. Experiments on multiple continual learning benchmarks suggest that our method is effective in avoiding catastrophic forgetting and in many scenarios, outperforms several baseline algorithms that do not explicitly store the data samples.

研究动机与目标

• 解决持续学习中模型在学习新任务时性能下降的问题，即灾难性遗忘。
• 开发一种无需存储原始数据或梯度的方法，以避免灾难性遗忘，从而提升隐私保护。
• 通过损失曲面近似，理论分析所提出方法的优化特性。
• 为近似损失上的梯度更新是真实损失的下降方向，提供充分且最坏情况下的必要条件。
• 通过实证验证该方法在多个持续学习基准上的有效性。

提出的方法

• 该方法在当前模型权重处，对先前任务的损失函数进行二阶泰勒展开。
• 利用海森信息近似过去任务损失的曲率，使模型能够‘记住’早期任务的优化曲面。
• 将该近似结果用作正则化项，在新任务训练期间使用，引导模型避免对先前任务性能造成损害的大规模更新。
• 该方法无需存储原始数据样本或其梯度，从而增强数据隐私保护。
• 理论分析确保在特定条件下，近似损失函数上的梯度更新是真实损失函数的下降方向。
• 在新任务训练过程中，通过将当前任务损失与近似后的过去任务损失相结合，应用该方法。

实验结果

研究问题

• RQ1 对过去任务损失函数进行二阶近似，能否有效防止持续学习中的灾难性遗忘？
• RQ2 所提出的方法是否能在不存储原始数据或梯度的情况下，保持对先前任务的性能？
• RQ3 在何种条件下，近似损失函数上的梯度更新是真实损失函数的下降方向？
• RQ4 与现有持续学习基线方法相比，该方法在准确率和遗忘减少方面表现如何？
• RQ5 该方法是否能在无需数据记忆的情况下，在多样化的持续学习基准上实现优异性能？

主要发现

• SOLA 在多个持续学习基准上有效减少了灾难性遗忘，展现出对先前任务的强泛化能力。
• 与不显式存储数据样本的多个基线算法相比，该方法表现更优，尤其在任务相似度较高的场景中。
• 理论分析证实，在充分且最坏情况下的必要条件下，近似损失函数上的梯度更新是真实损失函数的下降方向。
• 通过避免数据存储，SOLA 相较于依赖回放或梯度存储的方法，提供了更优的隐私保护。
• 实证结果表明，二阶近似能够捕捉关键的曲率信息，从而实现更稳定、更有效的持续学习。
• 在标准基准上，该方法在性能上达到或优于当前最先进持续学习方法。