[论文解读] On Quadratic Penalties in Elastic Weight Consolidation

Ferenc Huszár|arXiv (Cornell University)|Dec 11, 2017

Gaussian Processes and Bayesian Inference参考文献 5被引用 33

一句话总结

本文批判了标准弹性权重固化（EWC）算法，指出其在所有先前任务的参数处使用多个二次惩罚项，导致早期任务数据被重复计算，并对早期任务产生系统性偏差。本文提出一种仅以最近学习参数为锚点的单惩罚项变体，该方法在理论上更符合拉普拉斯近似，同时降低存储成本，且保持性能不变。

ABSTRACT

Elastic weight consolidation (EWC, Kirkpatrick et al, 2017) is a novel algorithm designed to safeguard against catastrophic forgetting in neural networks. EWC can be seen as an approximation to Laplace propagation (Eskin et al, 2004), and this view is consistent with the motivation given by Kirkpatrick et al (2017). In this note, I present an extended derivation that covers the case when there are more than two tasks. I show that the quadratic penalties in EWC are inconsistent with this derivation and might lead to double-counting data from earlier tasks.

研究动机与目标

• 研究弹性权重固化（EWC）在持续学习中与贝叶斯推断的理论一致性。
• 识别EWC在使用所有先前任务最优参数作为锚点的多个二次惩罚项中的缺陷。
• 证明此类多惩罚项会导致早期任务数据的重复计算，并对早期任务产生系统性偏差。
• 提出一种仅以最近学习参数为锚点的单惩罚EWC变体，该方法在理论上更符合递归拉普拉斯近似。
• 通过仅维护最新惩罚项，实现高效且恒定存储的持续学习，同时通过多惩罚项扩展支持数据集的重新访问。

提出的方法

• 使用贝叶斯规则推导顺序学习的贝叶斯后验，表明在任务T之后的后验依赖于任务A到S之后的后验。
• 对对数后验应用二阶泰勒展开（拉普拉斯方法），将参数的先验近似为以先前任务最优参数为中心的二次型。
• 表明标准EWC惩罚项在两任务情况下等价于对角拉普拉斯近似，但在超过两个任务时因多个惩罚中心而变得不一致。
• 提出一种单惩罚EWC变体，仅以最近任务参数作为正则化锚点，该方法通过递归应用拉普拉斯近似推导得出。
• 引入一种使用递归计算的去偏惩罚中心的多惩罚变体，支持数据集重新访问，并更准确地逼近任务特定的损失曲面。
• 推导出用于更新惩罚中心的递归公式，以避免重复计算，从而实现高效存储和动态重新优化。

实验结果

研究问题

• RQ1 当EWC算法应用于超过两个任务时，其与贝叶斯推断的理论一致性是否成立？
• RQ2 在所有先前任务最优参数处使用多个二次惩罚项，是否会导致早期任务数据的重复计算？
• RQ3 能否推导出一种单惩罚EWC变体，使其在理论上更符合拉普拉斯近似，并减少对早期任务的偏差？
• RQ4 维护多个惩罚项的存储成本是多少？是否可以在不牺牲性能的前提下降低该成本？
• RQ5 能否扩展该算法以支持旧数据集的重新访问，同时保持准确的任务特定正则化？

主要发现

• 标准EWC算法在所有先前任务参数处应用多个二次惩罚项，会导致早期任务数据的重复计算，并对早期任务产生系统性偏差。
• 在两任务情况下，EWC等价于带有可学习任务重要性超参数的对角拉普拉斯近似，但该等价性在超过两个任务时不再成立。
• 仅以最近学习参数为锚点的单惩罚EWC变体，在理论上更符合递归拉普拉斯近似，且避免了重复计算。
• 单惩罚变体的存储成本与任务数量无关，仅需存储最新参数集和单一Fisher信息的移动和，因此为常数级存储。
• 通过递归计算并去偏的惩罚中心，多惩罚变体支持数据集重新访问，并能更准确地逼近任务特定的损失曲面。
• 更新惩罚中心的递归公式可实现高效的任务特定惩罚重新估计，而无需存储所有先前的Fisher信息矩阵。