[论文解读] Posterior Meta-Replay for Continual Learning

Christian Henning, Maria R. Cervera+7 more|Zurich Open Repository and Archive (University of Zurich)|Mar 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 98被引用 4

一句话总结

该论文提出后验元重放（posterior meta-replay），一种贝叶斯持续学习框架，通过共享的随机超网络学习任务特定的后验参数分布，避免了递归贝叶斯更新所放大的近似误差。该方法在标准基准上实现了近乎零遗忘，并优于以往聚焦于先验的贝叶斯方法，但任务推理被识别为主要性能瓶颈。

ABSTRACT

Learning a sequence of tasks without access to i.i.d. observations is a widely studied form of continual learning (CL) that remains challenging. In principle, Bayesian learning directly applies to this setting, since recursive and one-off Bayesian updates yield the same result. In practice, however, recursive updating often leads to poor trade-off solutions across tasks because approximate inference is necessary for most models of interest. Here, we describe an alternative Bayesian approach where task-conditioned parameter distributions are continually inferred from data. We offer a practical deep learning implementation of our framework based on probabilistic task-conditioned hypernetworks, an approach we term posterior meta-replay. Experiments on standard benchmarks show that our probabilistic hypernetworks compress sequences of posterior parameter distributions with virtually no forgetting. We obtain considerable performance gains compared to existing Bayesian CL methods, and identify task inference as our major limiting factor. This limitation has several causes that are independent of the considered sequential setting, opening up new avenues for progress in CL.

研究动机与目标

• 为解决持续学习中递归贝叶斯更新的局限性，其会放大近似误差并迫使在任务性能之间进行权衡。
• 开发一种贝叶斯持续学习框架，学习独立的任务特定后验分布，而非单一的合并后验分布。
• 通过基于任务身份条件化的共享元模型，实现有效的知识压缩与保留。
• 研究预测不确定性在任务无关推理中的作用，特别是在类别增量学习设置下。
• 识别并分析性能的主要瓶颈，发现其源于任务推理而非核心持续学习机制。

提出的方法

• 该方法使用概率性任务条件超网络，对网络权重建模任务特定的后验分布，仅依赖单一共享元模型。
• 采用正则化项以重放先前任务后验的参数，防止元学习层面的遗忘。
• 通过独立学习每个任务的后验分布，避免递归贝叶斯更新，从而消除误差传播。
• 在推理阶段通过贝叶模型的合理不确定性估计来推断任务身份，无需生成建模。
• 该方法允许通过自由选择的先验对每个任务显式控制知识迁移，将先验设定与先前任务后验解耦。
• 在标准持续学习基准上评估该方法，并与以往聚焦于先验的贝叶斯基线进行性能比较。

实验结果

研究问题

• RQ1 能否通过学习任务特定后验的贝叶斯持续学习框架，在遗忘和准确率方面优于递归的、聚焦于先验的贝叶斯方法？
• RQ2 当测试时未提供任务身份时，预测不确定性在实现任务无关推理方面的有效性如何？
• RQ3 该框架中性能下降的主要来源是什么？这些因素是源于持续学习机制本身，还是与推理组件相关？
• RQ4 通过共享超网络进行知识压缩，是否能在不显著遗忘的前提下，维持在一系列任务上的高性能？
• RQ5 该方法在在多大程度上通过为每个任务独立设定先验，实现了可塑性与稳定性之间的解耦？

主要发现

• 所提出的后验元重放框架在标准持续学习基准上实现了近乎零遗忘，显著优于现有贝叶斯持续学习方法。
• 与聚焦于先验的贝叶斯基线相比，性能提升显著，尤其在类别增量学习设置下。
• 性能的主要瓶颈被识别为推理阶段的任务识别，而非核心持续学习机制。
• 任务推理的局限性归因于近似推理、网络架构、不确定性度量和先验的组合，这些因素与顺序学习设置无关。
• 该框架表明，对先验的显式控制可实现更优的知识迁移，并避免递归贝叶斯更新中固有的稳定性-可塑性权衡。
• 通过后验重放进行正则化，能有效防止元层面的遗忘，实现单一超网络中多个任务后验的稳定压缩。