[论文解读] Selfless Sequential Learning

Rahaf Aljundi, Marcus Rohrbach+1 more|arXiv (Cornell University)|Jun 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 40被引用 53

一句话总结

本文提出 SLNID，一种基于表示的正则化器，促进稀疏、局部抑制且对任务重要性感知的神经元激活，在固定模型容量下改善终身学习。

ABSTRACT

Sequential learning, also called lifelong learning, studies the problem of learning tasks in a sequence with access restricted to only the data of the current task. In this paper we look at a scenario with fixed model capacity, and postulate that the learning process should not be selfish, i.e. it should account for future tasks to be added and thus leave enough capacity for them. To achieve Selfless Sequential Learning we study different regularization strategies and activation functions. We find that imposing sparsity at the level of the representation (i.e.~neuron activations) is more beneficial for sequential learning than encouraging parameter sparsity. In particular, we propose a novel regularizer, that encourages representation sparsity by means of neural inhibition. It results in few active neurons which in turn leaves more free neurons to be utilized by upcoming tasks. As neural inhibition over an entire layer can be too drastic, especially for complex tasks requiring strong representations, our regularizer only inhibits other neurons in a local neighbourhood, inspired by lateral inhibition processes in the brain. We combine our novel regularizer, with state-of-the-art lifelong learning methods that penalize changes to important previously learned parts of the network. We show that our new regularizer leads to increased sparsity which translates in consistent performance improvement %over alternative regularizers we studied on diverse datasets.

研究动机与目标

• 在固定模型容量下推动终身学习，使未来任务能够被纳入。
• 研究表示稀疏性与参数稀疏性在降低跨任务干扰方面的作用。
• 提出一种新型正则化器（SLNID），实现带神经元重要性折扣的局部神经抑制。
• 证明基于表示的稀疏性结合 SLNID 能在多种数据集和基线上提升性能。

提出的方法

• 提出一个正则化框架，将 MAS/EWC 风格的重要性保持与对激活的表示稀疏性目标相结合。
• 引入通过局部神经抑制与折扣的稀疏编码（SLNID），它对邻近神经元的同时激活进行惩罚（局部抑制）。
• 将神经元重要性折扣扩展到 SLNID，以在它们与当前任务相关时保护先前重要的神经元不受抑制。
• 将 SLNID 表述为对隐藏激活的局部、高斯加权抑制项，由先前任务神经元重要性（alpha_i）调制。
• 通过将 SLNID 与 MAS（以及与 EWC）整合并在 permuted MNIST、CIFAR-100 和 Tiny ImageNet 上评估，展示兼容性。

实验结果

研究问题

• RQ1 在固定容量模型中，对神经元激活进行稀疏化（表示稀疏性）是否比参数稀疏性带来更好的终身学习性能？
• RQ2 局部（非全局）神经抑制结合神经元重要性折扣能否在释放未来任务容量的同时保留过去的知识？
• RQ3 SLNID 在不同数据集（permuted MNIST、CIFAR-100、Tiny ImageNet）以及不同基础 LLL 方法（MAS、EWC）上的表现如何？
• RQ4 SLNID 对容量使用（活跃/重要神经元）以及表示（稀疏/去相关）在连续任务中的影响是什么？

主要发现

• 基于表示的正则化在序列学习设置中优于基于参数的正则化。
• SLNID 正则化在序列末端的准确性更高，并在跨数据集保持更多的未来任务容量。
• 带神经元重要性折扣的局部抑制在遗忘鲁棒性方面有所提升，在 permuted MNIST、CIFAR-100 和 Tiny ImageNet 序列上相对于强基线获得数个百分点的增益。
• SLNID 与 MAS（以及与 EWC）结合时，性能持续提升，并使较小的网络达到或超过较大未正则化模型的水平。
• 消融研究表明局部性与重要性折扣对性能至关重要，SLNID 产生更稀疏的激活，并为未来任务留下更多未使用的参数。