[论文解读] Pseudo-Rehearsal for Continual Learning with Normalizing Flows

Jary Pomponi, Simone Scardapane+1 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

该论文提出PRER，一种持续学习方法，通过归一化流（normalizing flows）生成过往任务的嵌入表示以实现正则化，从而在嵌入空间中实现高效的伪回放。通过在神经网络内部激活上训练归一化流，并利用其对嵌入进行正则化，PRER在保持恒定内存开销和低计算成本的前提下，实现了最先进（SOTA）的性能表现。

ABSTRACT

Catastrophic forgetting (CF) happens whenever a neural network overwrites past knowledge while being trained on new tasks. Common techniques to handle CF include regularization of the weights (using, e.g., their importance on past tasks), and rehearsal strategies, where the network is constantly re-trained on past data. Generative models have also been applied for the latter, in order to have endless sources of data. In this paper, we propose a novel method that combines the strengths of regularization and generative-based rehearsal approaches. Our generative model consists of a normalizing flow (NF), a probabilistic and invertible neural network, trained on the internal embeddings of the network. By keeping a single NF conditioned on the task, we show that our memory overhead remains constant. In addition, exploiting the invertibility of the NF, we propose a simple approach to regularize the network's embeddings with respect to past tasks. We show that our method performs favorably with respect to state-of-the-art approaches in the literature, with bounded computational power and memory overheads.

研究动机与目标

• 通过结合生成式回放与嵌入层级正则化，缓解持续学习中的灾难性遗忘问题。
• 克服输入空间伪回放的局限性，后者需要复杂的生成模型并为大规模数据集带来高昂的内存开销。
• 通过在低维嵌入空间而非原始输入上训练生成模型，降低内存与计算开销。
• 提升对权重初始化的鲁棒性，并在多样化持续学习基准上实现更好的泛化能力。
• 证明使用生成嵌入进行正则化比在小批量中简单重放数据更有效。

提出的方法

• 在分类器网络的内部嵌入（后卷积特征）上训练归一化流（NF），而非在输入图像上。
• 将NF用作生成模型，在训练过程中采样过往任务的嵌入，实现无需存储原始数据的持续伪回放。
• 通过任务身份条件控制NF，生成与先前学习类别相对应的嵌入。
• 通过最小化新提取嵌入与NF采样嵌入之间的L2距离，对编码器进行正则化，以保持与过去知识的一致性。
• 在学习阶段联合训练分类器与NF，使NF更新以更好地重建过往嵌入。
• 利用NF的可逆性实现高效的密度估计与采样，避免生成对抗网络（GANs）中常见的训练不稳定性。

实验结果

研究问题

• RQ1 在内部嵌入上训练的归一化流能否在持续学习中有效生成过往任务的代表性样本？
• RQ2 使用生成嵌入进行正则化是否优于标准数据重放或权重正则化，从而更有效地缓解灾难性遗忘？
• RQ3 一个单一的、任务条件化的归一化流能否在任务数量不断增加的情况下保持恒定的内存开销？
• RQ4 与现有回放和正则化基线相比，该方法在内存与计算开销方面的扩展性如何？
• RQ5 该方法是否提升了对权重初始化和数据集复杂度的鲁棒性？

主要发现

• 在所有对比方法中，PRER在所有任务上的后向转移（BWT）得分最高，显著优于LWF、EWC、GEM和ER在MNIST和CIFAR10上的表现。
• 在MNIST上，PRER的BWT约为1.8，而ER为4.5，LWF为6.0，表明其知识保留能力更优。
• PRER的内存需求极低——在MNIST上仅约148K个浮点数——这是由于归一化流的大小恒定，优于ER（834K）和GEM（1960K）。
• 在MNIST上，PRER的训练时间约为20分钟，与LWF和EWC相当，远低于GEM（约60分钟）。
• 该方法对权重初始化具有鲁棒性，在5个随机种子下表现出低方差，而LWF和EWC则对初始化敏感。
• 在嵌入空间中进行生成可降低生成模型的复杂度，实现高效训练与采样，且避免了GAN风格的训练不稳定性。