[论文解读] Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks

Haruka Asanuma, Shiro Takagi+4 more|arXiv (Cornell University)|May 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用 8

一句话总结

本文提出一种统计力学框架，通过教师-学生神经网络设置，对持续学习中的灾难性遗忘进行理论分析。结果表明，当输入分布重叠较小时，且目标任务关系高度相似时，遗忘程度最小化；同时识别出一种新颖的“超调”现象，即在持续学习过程中，旧任务性能在短暂遗忘之后得以恢复。

ABSTRACT

When a computational system continuously learns from an ever-changing environment, it rapidly forgets its past experiences. This phenomenon is called catastrophic forgetting. While a line of studies has been proposed with respect to avoiding catastrophic forgetting, most of the methods are based on intuitive insights into the phenomenon, and their performances have been evaluated by numerical experiments using benchmark datasets. Therefore, in this study, we provide the theoretical framework for analyzing catastrophic forgetting by using teacher-student learning. Teacher-student learning is a framework in which we introduce two neural networks: one neural network is a target function in supervised learning, and the other is a learning neural network. To analyze continual learning in the teacher-student framework, we introduce the similarity of the input distribution and the input-output relationship of the target functions as the similarity of tasks. In this theoretical framework, we also provide a qualitative understanding of how a single-layer linear learning neural network forgets tasks. Based on the analysis, we find that the network can avoid catastrophic forgetting when the similarity among input distributions is small and that of the input-output relationship of the target functions is large. The analysis also suggests that a system often exhibits a characteristic phenomenon called overshoot, which means that even if the learning network has once undergone catastrophic forgetting, it is possible that the network may perform reasonably well after further learning of the current task.

研究动机与目标

• 建立一个理论框架，用于分析持续学习中的灾难性遗忘，因为目前该领域主要依赖经验方法和启发式方法。
• 在教师-学生学习设置中，通过输入分布重叠和输入-输出关系相似性（权重空间相似性）来建模任务相似性。
• 通过解析推导，确定学生网络在顺序学习多个任务时避免灾难性遗忘的条件。
• 研究一般化误差轨迹中非单调遗忘动态（如超调）的出现机制。

提出的方法

• 研究采用单层线性学生网络，通过随机梯度下降（SGD）在两个顺序任务上进行训练。
• 教师网络定义每个任务的真实输入-输出关系，其权重通过内积计算权重空间相似性。
• 输入空间相似性通过输入空间共享子空间中输入数据分布的重叠程度进行量化。
• 在假设输入为高斯分布且权重初始化为各向同性的情况下，使用统计力学方法解析推导一般化误差。
• 通过隐马尔可夫模型将框架扩展至非高斯输入，其中内在维度取代输入维度，成为影响一般化的主要因素。
• 通过数值模拟验证理论分析，特别考察过参数化和学习率对遗忘动态的影响。

实验结果

研究问题

• RQ1 当学生网络学习两个顺序任务时，在何种条件下可避免灾难性遗忘？
• RQ2 输入分布相似性与输入-输出关系相似性（权重空间相似性）如何共同影响遗忘行为？
• RQ3 导致“超调”现象的原因是什么，即先前任务的一般化误差在短暂上升后又恢复？
• RQ4 通过隐马尔可夫模型建模的真实世界数据的非高斯特性，如何改变遗忘与恢复的理论预测？

主要发现

• 当输入分布之间的相似性较低且目标任务关系（权重空间相似性）之间的相似性较高时，灾难性遗忘被最小化。
• 当学习率较大时，超调现象出现，导致旧任务性能在短期内下降，随后通过持续学习实现恢复。
• 过参数化会增加学生网络的一般化误差，若初始误差未被最小化，则可能降低表观遗忘程度。
• 在隐马尔可夫模型中，内在维度比输入维度更具影响力，表明流形结构调节遗忘动态。
• 在非高斯输入下，一般化误差收敛的理论结果在定性上仍具鲁棒性，但超调动态可能因学习速度加快而被放大。