[论文解读] Variational Continual Learning

Cuong V. Nguyen, Yingzhen Li+2 more|arXiv (Cornell University)|Oct 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 8被引用 295

一句话总结

一个系统的贝叶斯框架用于持续学习，结合在线变分推断与情节记忆，以减轻在判别模型和生成模型中的遗忘。

ABSTRACT

This paper develops variational continual learning (VCL), a simple but general framework for continual learning that fuses online variational inference (VI) and recent advances in Monte Carlo VI for neural networks. The framework can successfully train both deep discriminative models and deep generative models in complex continual learning settings where existing tasks evolve over time and entirely new tasks emerge. Experimental results show that VCL outperforms state-of-the-art continual learning methods on a variety of tasks, avoiding catastrophic forgetting in a fully automatic way.

研究动机与目标

• 开发一种通用的在线贝叶斯框架，用于持续学习，使其在不需要重新访问所有历史数据的情况下自然更新新数据。
• 将在线变分推断扩展到持续任务场景中的神经网络。
• 引入一个小型情节记忆（coreset），以进一步减少遗忘并保留过去任务的知识。
• 在判别模型和深度生成模型上展示 VCL，具备自动遗忘控制。
• 证明 VCL 在多个基准测试上优于现有的持续学习方法，并且在目标函数中不需要超参数调优。

提出的方法

• 将持续学习表述为序列贝叶斯更新，其后验由近似分布 q_t(theta) 描述，该分布是不可求的。
• 定义一个 KL-散度投影步骤，最小化 KL(q_t || (1/Z_t) q_{t-1} p(D_t|theta))。
• 引入情节记忆（coreset）以通过将后验分解为非核心集和核心集的贡献并执行序列投影来刷新记忆。
• 对深度判别网络应用变分持续学习，网络具有共享参数和任务特异头，使用高斯平均场后验与在线 VI。
• 将框架扩展到深度生成模型，通过与变分自编码器结合并处理共享组件与任务特异组件，使用相同的基于 VI 的后验更新。
• 提供等同于在线变分自由能的训练目标，其中包含相继后验之间的 KL 罚项。

Figure 2: Average test set accuracy on all observed tasks in the Permuted MNIST experiment.

实验结果

研究问题

• RQ1 变分持续学习是否能够在不进行大量超参数调优的情况下自动控制遗忘？
• RQ2 如何将在线 VI 适配到具有共享表示和任务特异输出的深度判别模型的序列任务？
• RQ3 引入一个小型情节记忆是否能提升 VCL 在各任务之间的保持性？
• RQ4 VCL 能否有效扩展到像 VAE 这样的深度生成模型，并在多任务下保持对过去任务的知识？
• RQ5 与现有持续学习方法相比，VCL 在标准基准上有何表现？

主要发现

• VCL 在各种判别和生成任务上优于最先进的持续学习方法。
• 该方法通过贝叶斯后验框架在序列任务中保持知识，遗忘较少。
• 引入的 cores et 情节记忆带来额外收益，进一步提升记忆保持。
• VCL 可以在训练中持续学习 VAE 和其他深度生成模型，同时对过去任务的记忆具有竞争力。
• VCL 在其目标函数中无需超参数调整，依赖于变分后验更新而非调优的正则化强度。

Figure 3: Comparison of the effect of coreset sizes in the Permuted MNIST experiment.