[论文解读] Saliency Guided Experience Packing for Replay in Continual Learning

Gobinda Saha, Kaushik Roy|arXiv (Cornell University)|Sep 10, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出经验打包与重放（EPR），一种持续学习方法，该方法选择显著性引导的图像块（即模型预测的关键区域）而非完整图像作为情景记忆的内容。通过零填充并重放这些信息丰富的图像块，EPR 提升了记忆效率并减少了灾难性遗忘，在 CIFAR-100、miniImageNet 和 CUB 数据集上以极小的记忆容量实现了最先进性能。

ABSTRACT

Artificial learning systems aspire to mimic human intelligence by continually learning from a stream of tasks without forgetting past knowledge. One way to enable such learning is to store past experiences in the form of input examples in episodic memory and replay them when learning new tasks. However, performance of such method suffers as the size of the memory becomes smaller. In this paper, we propose a new approach for experience replay, where we select the past experiences by looking at the saliency maps which provide visual explanations for the model's decision. Guided by these saliency maps, we pack the memory with only the parts or patches of the input images important for the model's prediction. While learning a new task, we replay these memory patches with appropriate zero-padding to remind the model about its past decisions. We evaluate our algorithm on CIFAR-100, miniImageNet and CUB datasets and report better performance than the state-of-the-art approaches. With qualitative and quantitative analyses we show that our method captures richer summaries of past experiences without any memory increase, and hence performs well with small episodic memory.

研究动机与目标

• 通过提升情景记忆的信息量而不增加其大小，解决持续学习中的灾难性遗忘问题。
• 克服在小内存设置下因有限样本过拟合而导致的经验重放性能下降问题。
• 利用可解释人工智能（XAI）技术，特别是显著性图，识别并仅存储过去任务预测中最相关的图像区域。
• 设计一种记忆打包机制，在保持恒定内存容量的前提下提升每类样本的多样性。
• 证明与完整图像重放相比，通过零填充重放显著性选择的图像块可实现更好的泛化性能并减少遗忘。

提出的方法

• 使用显著性图（如 Grad-CAM）在每个任务后识别输入图像中与预测相关的关键局部区域。
• 从每张图像中提取并仅存储显著性高亮的图像块及其空间坐标，存入情景记忆缓冲区。
• 引入经验打包因子（EPF）以控制每类的图像块数量及每个图像块的大小。
• 通过组合多个显著性图像块构建每类的复合记忆图像，提升多样性而不增加内存占用。
• 在新任务训练期间，检索存储的图像块，将其零填充至原始图像尺寸，并与当前任务数据联合训练。
• 对当前任务数据与零填充后的记忆图像块的联合损失应用标准反向传播与优化算法。

实验结果

研究问题

• RQ1 在不增加内存大小的前提下，显著性引导的图像块选择能否提升持续学习中情景记忆的代表性？
• RQ2 在不同内存约束下，EPR 的性能与最先进经验重放方法相比如何？
• RQ3 显著性方法的选择是否显著影响所提出的 EPR 框架的性能？
• RQ4 与完整图像重放基线相比，EPR 在多大程度上减少了过拟合与遗忘？
• RQ5 EPR 的计算开销如何？尽管增加了显著性计算与零填充操作，其效率是否仍保持良好？

主要发现

• 在 CIFAR-100、miniImageNet 和 CUB 数据集上，EPR 实现了最先进准确率，优于 DER++、ER-RING 和 MEGA-I 在所有内存大小下的表现。
• 在 CIFAR-100 上，当 EPF=2 时，EPR 达到 58.5% 的准确率，且当 EPF 超过该值时性能下降，表明每类图像块的最优数量与大小存在。
• 在 miniImageNet 上，最佳性能出现在 EPF=3 时，证实图像块大小与数量受数据集影响，且与显著性图质量密切相关。
• 在消融实验中，使用 EPR 记忆缓冲区训练的模型泛化能力优于 DER++ 或 ER-RING 缓冲区，实现了最高的多任务准确率。
• 该方法对显著性方法选择具有鲁棒性：在 Grad-CAM、Grad-CAM++、Smooth-Grad 和 FullGrad 之间，性能差异小于 1%。
• 与标准 ER-RING 相比，EPR 仅增加约 30% 的训练时间，却带来约 7% 的准确率提升，兼具高效与高效性。