[论文解读] TRGP: Trust Region Gradient Projection for Continual Learning

Sen Lin, Li Yang+2 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 22

一句话总结

TRGP 引入逐层的信任区域以筛选与之最相关的旧任务，并引入缩放权重投影以重复使用冻结的权重，在持续学习中提升前向知识传递同时减轻遗忘。

ABSTRACT

Catastrophic forgetting is one of the major challenges in continual learning. To address this issue, some existing methods put restrictive constraints on the optimization space of the new task for minimizing the interference to old tasks. However, this may lead to unsatisfactory performance for the new task, especially when the new task is strongly correlated with old tasks. To tackle this challenge, we propose Trust Region Gradient Projection (TRGP) for continual learning to facilitate the forward knowledge transfer based on an efficient characterization of task correlation. Particularly, we introduce a notion of `trust region' to select the most related old tasks for the new task in a layer-wise and single-shot manner, using the norm of gradient projection onto the subspace spanned by task inputs. Then, a scaled weight projection is proposed to cleverly reuse the frozen weights of the selected old tasks in the trust region through a layer-wise scaling matrix. By jointly optimizing the scaling matrices and the model, where the model is updated along the directions orthogonal to the subspaces of old tasks, TRGP can effectively prompt knowledge transfer without forgetting. Extensive experiments show that our approach achieves significant improvement over related state-of-the-art methods.

研究动机与目标

• 在非扩展式持续学习设定中，说明需要在前向知识传递和遗忘之间取得平衡的重要性。
• 提出逐层信任区域以识别网络中每一层最相关的旧任务。
• 引入缩放权重投影，在信任区域中重复使用所选旧任务的冻结权重。
• 联合优化缩放矩阵和网络参数，以在避免遗忘的同时提升新任务的学习能力。）

提出的方法

• 使用基于 SVD 的表示从旧任务中定义逐层子空间 S_j^l。
• 将梯度投影到旧任务子空间以为每一层形成信任区域 TR_t^l。
• 基于信任区域内梯度投影范数选择前 K 个相关性最高的旧任务。
• 引入缩放矩阵 Q_j,t^l 以执行 Proj_Sj^l^Q(W^{l})，在不覆盖旧任务知识的情况下重用。
• 通过优化 L 以有效权重 W_eff^l 更新模型，该权重结合来自信任区域任务的投影和对旧任务子空间正交方向的投影。
• 通过表示的 SVD 构建每个旧任务的任务输入子空间 S_j^l，并通过秩-k近似和阈值化选择基。

实验结果

研究问题

• RQ1 如何有效表征任务相关性以促进持续学习中的知识迁移？
• RQ2 在非扩展型 CL 方法中，信任区域机制是否能在不增加遗忘的情况下改善前向知识传递？
• RQ3 在基准测试上使用相关旧任务子空间的缩放权重投影对最终性能有何影响？

主要发现

• TRGP 在多个基准上（PMNIST、CIFAR-100 Split、5-Dataset、MiniImageNet）比现有方法取得更高的最终准确率。
• TRGP 在 PMNIST、CIFAR-100 Split、MiniImageNet 上分别比 GPM 的平均 ACC 提升 2.43%、1.98%、1.37%，在 5-Dataset 上比 HAT 提升 2.34%。
• TRGP 显示的回溯转移（BWT）低于若干竞争对手，表明遗忘减少，例如在引用的数据集上相对于基线的 BWT 提升约 0.2% 到 0.6%。
• 该方法在所有任务上都显示出普遍的改进，且在更困难的任务上尤为有效，相对于 GPM 的增益在困难任务上更为明显。