[论文解读] Ternary Feature Masks: continual learning without any forgetting

Marc Masana, Tinne Tuytelaars+1 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 21

一句话总结

本文提出Ternary Feature Masks，一种持续学习方法，通过将三元掩码应用于层激活而非权重，防止灾难性遗忘，实现高效的知识重用且内存开销极小。该方法在细粒度数据集和ImageNet上均优于最先进方法，同时将参数增长减少超过三个数量级。

ABSTRACT

In this paper, we propose an approach without any forgetting to continual learning for the task-aware regime, where at inference the task-label is known. By using ternary masks we can upgrade a model to new tasks, reusing knowledge from previous tasks while not forgetting anything about them. Using masks prevents both catastrophic forgetting and backward transfer. We argue -- and show experimentally -- that avoiding the former largely compensates for the lack of the latter, which is rarely observed in practice. In contrast to earlier works, our masks are applied to the features (activations) of each layer instead of the weights. This considerably reduces the number of mask parameters to be added for each new task; with more than three orders of magnitude for most networks. The encoding of the ternary masks into two bits per feature creates very little overhead to the network, avoiding scalability issues. Our masks do not permit any changes to features which are used by previous tasks. As this may be too restrictive to allow learning of new tasks, we add task-specific feature normalization. This way, already learned features can adapt to the current task without changing the behavior of these features for previous tasks. Extensive experiments on several finegrained datasets and ImageNet show that our method outperforms current state-of-the-art while reducing memory overhead in comparison to weight-based approaches.

研究动机与目标

• 为解决在推理时已知任务身份的持续学习任务感知设置下的灾难性遗忘问题。
• 通过将掩码应用从权重转移到特征，减少持续学习中的内存和参数开销。
• 在无需反向迁移（backward transfer）的情况下实现对先前任务的稳定知识保留，因为反向迁移在实践中很少有益。
• 设计一种可扩展且高效的方案，在仅进行最小架构修改的前提下，保持模型在顺序任务上的性能。

提出的方法

• 该方法将三元掩码（取值 ∈ {-1, 0, 1}）应用于每一层的特征图（激活值），而非网络权重。
• 每个掩码使用每个特征仅两个比特进行编码，与基于权重的掩码相比，显著减少了所需参数数量——减少超过三个数量级。
• 掩码设计用于保留先前任务所使用的特征，通过特征级别的约束确保不会发生遗忘。
• 为使模型能够适应新任务，引入了特定于任务的特征归一化，使学习到的特征能够适应新任务，而不会改变其在先前任务中的行为。
• 该方法强制仅修改与新任务相关的特征，而通过掩码机制保持先前学习到的表征不变。

实验结果

研究问题

• RQ1 是否可以通过在特征而非权重上操作，实现完全无遗忘的持续学习？
• RQ2 与基于权重的方法相比，将三元掩码应用于激活是否能显著降低内存开销？
• RQ3 在实践中是否可以忽略反向迁移，且仅避免灾难性遗忘是否足以带来更优性能？
• RQ4 特定于任务的归一化是否能有效适应新任务，同时不损害对先前任务的知识保留？

主要发现

• 该方法在细粒度图像分类数据集和ImageNet上均达到最先进性能，优于现有持续学习方法。
• 由于在特征层面应用掩码，与基于权重的掩码方法相比，内存开销减少了超过三个数量级。
• 每个特征使用两位的三元掩码，计算和存储开销可忽略不计，显著提升了可扩展性。
• 通过仅限制对新任务相关组件的特征修改，该模型完全避免了灾难性遗忘。
• 特定于任务的归一化使模型能有效适应新任务，同时不改变其在先前任务中特征的行为。