[论文解读] Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification

Nikita Dvornik, Cordelia Schmid+1 more|arXiv (Cornell University)|Mar 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用 12

一句话总结

本文提出SUR（从通用表征中选择），一种用于少样本分类的简单而有效的特征选择方法，该方法利用由多种特征提取器组成的多领域表征。通过在支持集上使用梯度下降优化可学习的掩码参数，SUR为每个少样本任务仅选择最相关的特征，从而在MetaDataset上实现最先进性能，并在mini-ImageNet上实现更高的准确率，且无需参数化适应模块。

ABSTRACT

Popular approaches for few-shot classification consist of first learning a generic data representation based on a large annotated dataset, before adapting the representation to new classes given only a few labeled samples. In this work, we propose a new strategy based on feature selection, which is both simpler and more effective than previous feature adaptation approaches. First, we obtain a multi-domain representation by training a set of semantically different feature extractors. Then, given a few-shot learning task, we use our multi-domain feature bank to automatically select the most relevant representations. We show that a simple non-parametric classifier built on top of such features produces high accuracy and generalizes to domains never seen during training, which leads to state-of-the-art results on MetaDataset and improved accuracy on mini-ImageNet.

研究动机与目标

• 通过提升在多样化视觉领域间的泛化能力，解决有限标注数据下的少样本分类挑战。
• 克服现有基于适应的方法所依赖的复杂、任务特定适应模块的局限性。
• 证明从预训练的多领域表征中进行特征选择，可在跨领域少样本学习中优于参数化适应方法。
• 表明相同的选中机制即使在单领域少样本学习设置下也能提升性能。

提出的方法

• 通过在多样化数据分布上训练八个语义上不同的特征提取器，构建多领域表征。
• 对于每个少样本任务，使用随机梯度下降在支持集上优化可学习的掩码参数λ，以选择相关特征提取器。
• 在所选特征上使用非参数原型分类器预测类别标签。
• 使用标准监督学习在大规模元训练集上训练特征提取器。
• 将相同的选中机制应用于单个网络的中间层，以在单领域场景中模拟多领域设置。
• 在MetaDataset（跨领域）和mini-ImageNet（单领域）基准上评估性能。

实验结果

研究问题

• RQ1 从多领域表征中进行特征选择是否能在少样本分类中优于参数化适应？
• RQ2 所提出方法是否能泛化到训练期间未见过的领域，特别是在跨领域少样本学习中？
• RQ3 相同的选中机制是否能在无任务特定适应的情况下提升单领域少样本分类的性能？
• RQ4 在不同测试领域中，所选特征表征的稀疏性和可解释性如何？

主要发现

• SUR在5-shot MetaDataset上达到79.25%的最先进准确率，优于使用复杂适应模块的先前方法。
• 在1-shot MetaDataset上，SUR达到60.79%的准确率，表明其对未见领域的强大泛化能力。
• 在mini-ImageNet的单领域设置中，SUR将准确率提升至80.04%（5-shot）和63.13%（1-shot），超过单层和拼接基线方法。
• 选中参数λ具有稀疏性和可解释性，表明SUR为每个任务仅选择少数相关特征提取器，且来自相同分布的数据集（如CIFAR-10和CIFAR-100）表现出相似的选中模式。
• 对于Robust20-dist特征提取器，SUR在5-shot上带来微小增益，但在1-shot上出现轻微下降，表明其倒数第二层已高度优化，可能因次优选择而被破坏。
• 消融实验确认多领域表征对性能至关重要，仅使用最后一层或拼接所有层的准确率均低于学习到的特征选择方法。