[论文解读] Storing Encoded Episodes as Concepts for Continual Learning

Ali Ayub, Alan R. Wagner|arXiv (Cornell University)|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用 7

一句话总结

本文提出了一种受认知启发的持续学习方法——编码片段作为概念（EEC），该方法利用经过神经风格迁移（NST）训练的自编码器，从编码的片段中生成高质量、无模糊的重建图像，以实现生成式回放。该方法通过将存储的片段转换为质心和协方差表示，将内存使用量减少了78%，并有效缓解了灾难性遗忘，在基准数据集上相比最先进方法实现了13%–17%的准确率提升。

ABSTRACT

The two main challenges faced by continual learning approaches are catastrophic forgetting and memory limitations on the storage of data. To cope with these challenges, we propose a novel, cognitively-inspired approach which trains autoencoders with Neural Style Transfer to encode and store images. Reconstructed images from encoded episodes are replayed when training the classifier model on a new task to avoid catastrophic forgetting. The loss function for the reconstructed images is weighted to reduce its effect during classifier training to cope with image degradation. When the system runs out of memory the encoded episodes are converted into centroids and covariance matrices, which are used to generate pseudo-images during classifier training, keeping classifier performance stable with less memory. Our approach increases classification accuracy by 13-17% over state-of-the-art methods on benchmark datasets, while requiring 78% less storage space.

研究动机与目标

• 解决持续学习中灾难性遗忘和内存限制问题，且无需存储真实数据样本。
• 开发一种受生物启发的方法，通过编码片段的存储与转换，模拟人类记忆巩固过程。
• 提升图像重建质量，超越标准自编码器，以支持有效的分类器回放。
• 通过基于质心和协方差的编码片段压缩，减少内存占用。
• 在严格的类增量学习约束下，实现在ImageNet-50等复杂RGB数据集上的优越性能。

提出的方法

• 使用神经风格迁移（NST）损失训练卷积自编码器，以生成清晰、与类别相关联的图像，而非模糊的重建结果。
• 将编码的片段（低维嵌入）存储在内存中，以便在新任务训练期间实现生成式回放。
• 在分类器训练期间应用样本衰减权重，以降低退化重建图像的影响。
• 当存储限制达到时，将相似的编码片段转换为质心和协方差矩阵，以压缩内存使用。
• 采用基于聚类的记忆整合技术，受海马体-新皮层概念学习机制启发，用于合并相似的片段。
• 从质心和协方差矩阵中重建图像，以在分类器训练期间生成伪图像，从而在极低存储下维持性能。

实验结果

研究问题

• RQ1 神经风格迁移能否提升自编码器生成图像的质量，以支持持续学习中的生成式回放？
• RQ2 与存储真实数据或使用生成对抗网络（GANs）相比，将编码片段作为概念使用，在遗忘控制和内存效率方面表现如何？
• RQ3 在不造成性能下降的前提下，质心和协方差表示在多大程度上可替代原始编码片段？
• RQ4 所提出的方法是否能有效减少在ImageNet-50等复杂高维数据集上的灾难性遗忘？
• RQ5 通过有效的记忆整合，系统是否能在极端内存约束下保持高准确率？

主要发现

• 在ImageNet-50上，EEC在A3和A5设置下分别比DGMw高出13.29%和17.42%的准确率，且未存储真实数据。
• 在MNIST上，EEC在10个任务中均保持稳定性能，遗忘极少，表明对任务序列长度具有鲁棒性。
• 在K=5000的内存预算下，EEC在A5上达到31.51%的准确率，仅比无限内存基线低3.73%。
• 与DGMw（228 MB）相比，EEC将系统总内存使用量减少了78.01%；与真实图像存储（315 MB）相比，减少了64.58%。
• EEC在A3上比iCaRL（一种使用真实图像片段记忆的最先进方法）高出16.01%，在A5上高出6.26%，证明了其生成式回放的有效性。
• 该方法在不同数据集上表现一致，而DGMw在MNIST与ImageNet-50之间表现出显著的性能波动。