[论文解读] Task Agnostic Continual Learning Using Online Variational Bayes

Chen Zeno, Itay Golan+2 more|arXiv (Cornell University)|Mar 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 44被引用 70

一句话总结

引入贝叶斯梯度下降（BGD），一种任务无关的连续学习方法，在没有任务边界的情况下在线更新权重后验，并展示标签技巧在类别学习中的好处。

ABSTRACT

Catastrophic forgetting is the notorious vulnerability of neural networks to the change of the data distribution while learning. This phenomenon has long been considered a major obstacle for allowing the use of learning agents in realistic continual learning settings. A large body of continual learning research assumes that task boundaries are known during training. However, research for scenarios in which task boundaries are unknown during training has been lacking. In this paper we present, for the first time, a method for preventing catastrophic forgetting (BGD) for scenarios with task boundaries that are unknown during training --- task-agnostic continual learning. Code of our algorithm is available at https://github.com/igolan/bgd.

研究动机与目标

• 在未知任务边界的情形下定义并对连续学习场景进行分类。
• 提出贝叶斯梯度下降（BGD）作为神经网络的任务无关在线贝叶斯更新规则。
• 在任务无关条件下引入标签技巧以提高类别学习性能。
• 在连续与离散的任务无关情景中对BGD进行实证评估，并与现有方法进行比较。

提出的方法

• 在迭代中用对角高斯后验 q_n(θ|φ) 来建模网络权重。
• 从在线贝叶斯推导 θ 的 μ（均值）和 σ（标准差）的闭式在线更新，使用单一明确的蒙特卡洛估计。
• 使用重参数化 θ_i = μ_i + ε_i σ_i，其中 ε_i ~ N(0,1)，以计算无偏梯度。
• 更新规则：μ_i = m_i − σ_i^2 E[∂L_n/∂θ_i]，以及一个导出的 σ_i 更新，包含曲率样项 E[∂L_n/∂θ_i · ε_i]。
• 通过蒙特卡洛取 K 次样本来近似期望，并用学习率 η 调整收敛性。
• 论证并给出学习率依赖于不确定性 σ_i 和损失的观测曲率的性质。

实验结果

研究问题

• RQ1 在训练和测试时任务身份与边界未知的情况下，如何进行连续学习？
• RQ2 在无任务切换的任务无关设置中，在线贝叶斯更新（BGD）能否缓解灾难性遗忘？
• RQ3 在任务无关条件下提出的标签技巧是否对类别学习场景的性能有特定提升？
• RQ4 在任务无关的连续学习中，权重不确定性（σ）在后续任务中的行为表现为何？

主要发现

• BGD 在连续任务无关情景（如置换的 MNIST）中在没有任务切换信息的情况下保持较高的平均准确率。
• 在离散任务无关设置中，权重不确定性聚焦于少量参数，支持“只有部分权重在跨任务时具有任务相关性”的观点。
• BGD 在离散任务无关设定中与最先进方法（SI 和 VCL）持平，尽管未使用任务切换信息。
• 标签技巧显著提升类别学习性能，在 Split MNIST 的多种基线下平均准确率从约 20% 提升到约 50%。
• 在具有非共享头部的类别学习中，标签技巧使得在一个批次中仅训练与现有标签相关的头部，降低干扰。