[论文解读] Uncertainty-based Continual Learning with Adaptive Regularization

Hongjoon Ahn, Sungmin Cha+2 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用 93

一句话总结

本文提出基于不确定性的持续学习（UCL），具有自适应正则化，推导出用于贝叶斯权重分布的基于 KL 的正则化项，并引入对不确定性的自适应初始化，以改善在各种任务和架构上的持续学习。

ABSTRACT

We introduce a new neural network-based continual learning algorithm, dubbed as Uncertainty-regularized Continual Learning (UCL), which builds on traditional Bayesian online learning framework with variational inference. We focus on two significant drawbacks of the recently proposed regularization-based methods: a) considerable additional memory cost for determining the per-weight regularization strengths and b) the absence of gracefully forgetting scheme, which can prevent performance degradation in learning new tasks. In this paper, we show UCL can solve these two problems by introducing a fresh interpretation on the Kullback-Leibler (KL) divergence term of the variational lower bound for Gaussian mean-field approximation. Based on the interpretation, we propose the notion of node-wise uncertainty, which drastically reduces the number of additional parameters for implementing per-weight regularization. Moreover, we devise two additional regularization terms that enforce stability by freezing important parameters for past tasks and allow plasticity by controlling the actively learning parameters for a new task. Through extensive experiments, we show UCL convincingly outperforms most of recent state-of-the-art baselines not only on popular supervised learning benchmarks, but also on challenging lifelong reinforcement learning tasks. The source code of our algorithm is available at https://github.com/csm9493/UCL.

研究动机与目标

• 通过在跨任务序列中缓解深度网络的灾难性遗忘来推动持续学习。
• 开发一个贝叶斯、具不确定性感知的正则化框架，使其适应架构深度和任务结构。
• 推导一个闭式 KL 散度基于正则化项，将相邻权重分布联系起来以实现正则化。
• 提出一种对权重不确定性（sigma）的自适应初始化策略，以在深层架构中稳定训练。

提出的方法

• 推导高斯平均场后验之间的闭式 KL 散度，以获得正则化项。
• 引入对每一层的权重不确定性（sigma）的自适应初始化，以稳定前向和反向信号传播。
• 通过在通道/筛选级别概念性对不确定性进行处理，将 UCL 扩展到卷积网络，并说明跨任务的正则化传播。
• 提供有监督学习和强化学习设置的实现细节，包括网络架构和超参数选择。
• 演示参数高效的正则化，有利于未来任务的“主动学习者”，并在适当时支持优雅的遗忘。

实验结果

研究问题

• RQ1 不确定性为基础的正则化是否可以在深度网络的连续任务中缓解灾难性遗忘？
• RQ2 权重不确定性（sigma）应如何在各层初始化和自适应，以最大化持续学习性能？
• RQ3 在 CNNs 和 RL 环境中，与现有基线（EWC、SI、HAT、VCL 等）相比，适应性正则化在保持性能与前向迁移方面表现如何？
• RQ4 是否能够将每层/通道级的不确定性有效扩展到卷积结构，以控制跨任务的正则化强度？

主要发现

• 高斯平均场后验之间的闭式 KL 散度导致每个权重的正则化项，可以聚合为逐层的正则化表达式。
• 对权重不确定性（sigma）的自适应初始化策略在深层结构中提高了稳定性和性能，给出前向/后向方差控制的公式。
• 通过通道/筛选级别的不确定性将 UCL 扩展到 CNN，显示重要组件获得更强的正则化，而较不相关的部分仍可用于未来任务的训练。
• 经验结果（见补充材料）表明，自适应初始化在多种任务拆分（如 CIFAR-10/100、MNIST 变体）中通常比基线获得更高的平均准确率和更好的保留，消融分析强调上层正则化和公式（5）/（6）项对性能的必要性。
• 有证据表明保留有用特征（对输出权重的高正则化）使多个主动学习者能够支持未来任务。
• sigma 初始化和 beta（正则化强度）的行为控制着遗忘与前向迁移之间的权衡，影响强化学习实验中的累积回报。