[论文解读] Parameter-Level Soft-Masking for Continual Learning

Tatsuya Konishi, Mori Kurokawa+4 more|arXiv (Cornell University)|Jun 26, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新颖的持续学习方法——参数级梯度流软掩码（SPG），通过在单个网络参数上使用可学习的软掩码，防止灾难性遗忘并实现自动知识迁移。SPG根据参数对先前任务的重要性动态调整梯度流，保持完整的网络容量，在相似与不相似任务场景下均优于基线方法，实现更高的准确率和更低的遗忘率，且无需对子网络进行硬性垄断。

ABSTRACT

Existing research on task incremental learning in continual learning has primarily focused on preventing catastrophic forgetting (CF). Although several techniques have achieved learning with no CF, they attain it by letting each task monopolize a sub-network in a shared network, which seriously limits knowledge transfer (KT) and causes over-consumption of the network capacity, i.e., as more tasks are learned, the performance deteriorates. The goal of this paper is threefold: (1) overcoming CF, (2) encouraging KT, and (3) tackling the capacity problem. A novel technique (called SPG) is proposed that soft-masks (partially blocks) parameter updating in training based on the importance of each parameter to old tasks. Each task still uses the full network, i.e., no monopoly of any part of the network by any task, which enables maximum KT and reduction in capacity usage. To our knowledge, this is the first work that soft-masks a model at the parameter-level for continual learning. Extensive experiments demonstrate the effectiveness of SPG in achieving all three objectives. More notably, it attains significant transfer of knowledge not only among similar tasks (with shared knowledge) but also among dissimilar tasks (with little shared knowledge) while mitigating CF.

研究动机与目标

• 在任务增量式持续学习（TIL）中克服灾难性遗忘（CF），同时不牺牲知识迁移（KT）或过度消耗网络容量。
• 解决现有方法中对神经元或子网络进行硬掩码的局限性，这些方法限制了知识迁移并随时间导致性能下降。
• 通过基于梯度重要性的软掩码实现灵活、细粒度的参数更新，保留网络容量，并在相似与不相似任务之间实现KT。
• 证明在平衡CF预防与KT方面，参数级软掩码优于正则化或硬掩码策略。

提出的方法

• SPG为每个独立参数计算基于梯度的重要性评分，使用跨头重要性（CHI）聚合任务头之间的梯度。
• 在反向传播过程中对梯度流应用软掩码，掩码值为参数重要性的可学习、可微函数，从而实现部分梯度更新。
• 采用每头软掩码（SMH）策略，平衡特征提取器与分类头之间的训练，提升稳定性和性能。
• 与HAT或SupSup不同，SPG不硬性掩码神经元或子网络；相反，它在前向传播中保持所有参数可训练，从而实现完整的知识迁移。
• 重要性评分基于来自先前任务的梯度计算，软掩码动态抑制对旧任务关键参数的更新。
• SPG通过使用连续的重要性值避免二值阈值，相比硬掩码方法更具灵活性和鲁棒性。

实验结果

研究问题

• RQ1 参数级软掩码能否在持续学习中有效防止灾难性遗忘并实现知识迁移？
• RQ2 与基于正则化的EWC等方法相比，参数级软掩码在防止遗忘方面表现如何？
• RQ3 SPG在共享知识极少的不相似任务之间，能在多大程度上实现知识迁移？
• RQ4 与垄断子网络的硬掩码方法相比，软掩码是否能缓解容量问题？
• RQ5 SPG的各个组件——CHI、SMH和软掩码——对整体性能的贡献分别是什么？

主要发现

• SPG在标准持续学习基准上达到最先进性能，在相似与不相似任务设置下均优于HAT、SupSup和EWC等强基线方法。
• 在C-20数据集上，面对不相似任务，SPG相比无CHI的消融实验提升了5.5%的准确率，证明其在缓解遗忘方面的有效性。
• 采用软掩码的SPG显著优于其硬掩码变体，后者需调整阈值且导致性能下降，证明了连续软掩码的优越性。
• 在表示学习评估中，SPG在经历100个任务后，仍能在TinyImageNet和CIFAR100等非CL数据集上保持高准确率，而NCL和HAT则表现出严重退化。
• 消融研究证实，CHI、SMH和软掩码三个组件均产生积极贡献，其中SMH在I-100上实现最高达2.9%的性能提升，凸显其在训练平衡中的关键作用。
• SPG实现了无需任务相似性检测的自动知识迁移，与CAT不同，且避免了由误分类引发的灾难性遗忘风险。