[论文解读] Subspace Regularizers for Few-Shot Class Incremental Learning

Afra Feyza Akyürek, Ekin Akyürek+2 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 42

一句话总结

论文表明，对新类权重进行简单子空间正则化，若可选地加入语义信息，能够使普通逻辑回归在与预训练特征提取器配合时，在少样本增量学习中达到最先进的结果。

ABSTRACT

Few-shot class incremental learning -- the problem of updating a trained classifier to discriminate among an expanded set of classes with limited labeled data -- is a key challenge for machine learning systems deployed in non-stationary environments. Existing approaches to the problem rely on complex model architectures and training procedures that are difficult to tune and re-use. In this paper, we present an extremely simple approach that enables the use of ordinary logistic regression classifiers for few-shot incremental learning. The key to this approach is a new family of subspace regularization schemes that encourage weight vectors for new classes to lie close to the subspace spanned by the weights of existing classes. When combined with pretrained convolutional feature extractors, logistic regression models trained with subspace regularization outperform specialized, state-of-the-art approaches to few-shot incremental image classification by up to 22% on the miniImageNet dataset. Because of its simplicity, subspace regularization can be straightforwardly extended to incorporate additional background information about the new classes (including class names and descriptions specified in natural language); these further improve accuracy by up to 2%. Our results show that simple geometric regularization of class representations offers an effective tool for continual learning.

研究动机与目标

• 解决 FSCIL（Few-Shot Class Incremental Learning）挑战，即在仅有少量带标签样本的情况下将基分类器扩展到新类，并且无需从头重新训练。
• 提出子空间正则化，使新类权重尽量贴近由基类权重张成的子空间，以降低遗忘与过拟合。
• 通过语言嵌入引导新权重朝向由基本类别的语义组合形成的目标，从而以语义信息增强该方法。
• 证明该方法可与标准架构（如 ResNet）和预训练特征协同工作，避免使用复杂的专门 FSCIL 模型。

提出的方法

• 在基础类别上使用普通的交叉熵损失、以及权重和特征正则化来训练基础特征提取器和分类器。
• 在增量会话中，冻结特征提取器，仅优化新类权重，应用正则化项：(a) 使新权重尽量靠近基础子空间，(b) 可选地将其拉向由语言嵌入得到的语义目标。
• 将子空间目标 m_c 计算为新权重在由基权重张成的子空间上的投影，并对距离 ||eta_c - m_c||^2 进行惩罚。
• 通过将投影替换为语义目标 l_c 来扩展带有语义子空间正则化，l_c 由基类权重按嵌入相似性（带温度 tau）加权形成。
• 可选地学习一个从语义嵌入到基类权重空间的线性映射 L，并将新权重正则化逼近 L(e_c)。
• 使用标准的 SGD 优化，并在多会话的 mini-ImageNet 和单会话设置上进行评估，以证明遗忘抑制和准确率提升。

实验结果

研究问题

• RQ1 子空间正则化是否能够在稳定基类表示的同时，实现对新类在少量样本下的有效整合？
• RQ2 通过语言嵌入引入语义信息是否在纯子空间正则化之上进一步提升 FSCIL 的性能？
• RQ3 在简单正则化和预训练特征的配合下，是否有可能让普通逻辑回归达到最先进的 FSCIL 性能？

主要发现

• 子空间正则化在多步增量下的多会话 mini-ImageNet 上比强基线提升准确率。
• 语义子空间正则化通过利用语言推导的基类与新类之间关系，带来额外提升。
• 利用先前样本的记忆（+memory）进一步减少遗忘并提升性能，同时正则化仍然有益。
• 与专门的 FSCIL 方法相比，所提方法在标准架构下在若干场景中实现了具有竞争力甚至优越的结果。
• 该方法强调简单的几何正则化可以有效解决 FSCIL 中的遗忘和过拟合问题。