[论文解读] On the Soft-Subnetwork for Few-shot Class Incremental Learning

Haeyong Kang, Jaehong Yoon+3 more|arXiv (Cornell University)|Sep 15, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出 SoftNet，一种少样本类增量学习方法，通过借鉴正则化彩票赢家假说的软子网络，联合缓解灾难性遗忘和过拟合问题。通过在训练中学习自适应的非二值软掩码——其中主要子网络保留先前知识，次要子网络适应少样本类别——SoftNet 在 miniImageNet 和 CIFAR-100 基准上实现了最先进性能，准确率最高提升达 +5.63%。

ABSTRACT

Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which hypothesizes that there exist smooth (non-binary) subnetworks within a dense network that achieve the competitive performance of the dense network, we propose a few-shot class incremental learning (FSCIL) method referred to as \emph{Soft-SubNetworks (SoftNet)}. Our objective is to learn a sequence of sessions incrementally, where each session only includes a few training instances per class while preserving the knowledge of the previously learned ones. SoftNet jointly learns the model weights and adaptive non-binary soft masks at a base training session in which each mask consists of the major and minor subnetwork; the former aims to minimize catastrophic forgetting during training, and the latter aims to avoid overfitting to a few samples in each new training session. We provide comprehensive empirical validations demonstrating that our SoftNet effectively tackles the few-shot incremental learning problem by surpassing the performance of state-of-the-art baselines over benchmark datasets.

研究动机与目标

• 为解决少样本类增量学习（FSCIL）中因每类样本有限而加剧的模型退化问题，应对灾难性遗忘与过拟合的双重挑战。
• 开发一种方法，在有效学习仅含少量样本的新类别的同时，保留先前学习类别的知识。
• 提出一种受正则化彩票赢家假说启发的新型基于掩码的范式，实现高效且稳定的增量学习。
• 联合学习模型权重与自适应的非二值软掩码，以分离知识保留与增量适应功能。
• 在标准基准上实证验证该方法，证明其在性能上优于现有最先进方法。

提出的方法

• SoftNet 在基础阶段训练一个密集神经网络，并引入可学习的软掩码 $\bm{m} \in [0,1]^{|m{\theta}|}$，其中 $m=1$ 对应前 $c\%$ 的参数（主要子网络），其余参数对应 $m<1$（次要子网络）。
• 基础训练完成后，主要子网络被冻结以保留先前知识，而次要子网络在增量阶段持续更新以适应新类别。
• 软掩码在基础训练阶段端到端学习，其中主要部分确保稳定性，次要部分实现对少样本数据的灵活适应。
• 该方法采用双分支子网络结构：一个用于持续知识保留，一个用于增量学习，二者均源自同一初始密集网络。
• 该方法避免使用二值掩码，转而采用连续可微的掩码，以支持平滑的梯度更新并提升泛化能力。
• 该方法应用于类增量学习设置，每轮仅提供每类少量样本，且无法访问历史数据。

实验结果

研究问题

• RQ1 具有自适应非二值掩码的软子网络能否在少样本类增量学习中有效防止灾难性遗忘？
• RQ2 所提方法能否在保留先前学习类别知识的同时，有效减少对少样本数据的过拟合？
• RQ3 SoftNet 在不同少样本基准和超参数设置下，与最先进方法相比性能如何？
• RQ4 $c\%$（主要子网络参数比例）的选择是否显著影响模型在增量会话中的稳定性和准确率？
• RQ5 正则化彩票赢家假说能否拓展至少样本持续学习，以实现稳定、高效且准确的增量适应？

主要发现

• 在 ResNet20 上，$c=80\%$ 时，SoftNet 在 miniImageNet 上相较最强基线（cRT）实现 +5.63% 的准确率提升，展现出卓越性能。
• 当 $c=97\%$ 时，SoftNet 在第一轮会话达到 77.17% 准确率，第九轮会话仍保持 50.24%，表现出极强的稳定性和极低的遗忘率。
• 在 miniImageNet 上，SoftNet 相较 FSLL、iCaRL 和 Rebuffi 等（2017）方法，准确率最高提升 +5.39%，即使使用更小的模型（ResNet18）亦然。
• 该方法在所有会话中均持续提升性能，最大准确率提升 +5.63% 出现在 ResNet20 上 $c=80\%$ 时。
• 当 $c=90\%$ 时，SoftNet 在第一轮达到 77.00%，第九轮达到 50.39%，优于所有基线方法，包括 HardNet 变体。
• 消融实验表明，与二值或固定掩码策略相比，采用自适应非二值掩码的软掩码能显著减少过拟合与遗忘。