[论文解读] SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning

Yan Wang, Wei‐Lun Chao+2 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用 233

一句话总结

该论文表明，简单的特征变换（均值中心化和L2归一化）结合最近邻分类器，在标准的小样本基准测试上无需元学习也能达到最先进或具有竞争力的结果。

ABSTRACT

Few-shot learners aim to recognize new object classes based on a small number of labeled training examples. To prevent overfitting, state-of-the-art few-shot learners use meta-learning on convolutional-network features and perform classification using a nearest-neighbor classifier. This paper studies the accuracy of nearest-neighbor baselines without meta-learning. Surprisingly, we find simple feature transformations suffice to obtain competitive few-shot learning accuracies. For example, we find that a nearest-neighbor classifier used in combination with mean-subtraction and L2-normalization outperforms prior results in three out of five settings on the miniImageNet dataset.

研究动机与目标

• 为不依赖元学习的小样本学习建立一个强基线的动机。
• 研究简单特征变换在小样本设置中对最近邻分类的影响。
• 在多种骨干网络结构和数据集上评估简单变换，以建立一个强健的基线。

提出的方法

• 通过在 D_base 上最小化带有线性分类器 W 的交叉熵，训练基础类的特征提取器 f_theta。
• 在特征空间中对测试样本使用欧氏距离进行最近邻分类。
• 在最近邻之前应用特征变换： (a) 未归一化 (UN)，(b) L2 归一化 (L2N)，(c) 居中后再进行 L2 归一化 (CL2N)。
• 使用 one-shot 和 five-shot 的 C 类任务；在多样本设置中对每个新类使用最近质心（类质心）。
• 在多种体系结构（Conv-4、ResNet-10/18、WRN、DenseNet、MobileNet）和数据集（miniImageNet、tiered ImageNet、CIFAR-100）上进行评估。
• 与大量元学习基线进行比较，以确立 SimpleShot 作为具有竞争力的基线。

实验结果

研究问题

• RQ1 在无需元学习的情况下，最近邻分类器结合简单的特征变换在 one-shot 和 five-shot 设置中是否能达到具有竞争力的准确率？
• RQ2 均值中心化和 L2 归一化如何影响不同骨干和数据集上的最近邻性能？
• RQ3 所观察到的收益是否能从 miniImageNet 泛化到 tiered ImageNet 和 CIFAR-100？
• RQ4 SimpleShot 是否是未来小样本学习研究的一个可行且具有竞争力的基线？

主要发现

• L2 归一化在多个数据集上持续显著提升与未归一化特征相比的准确率，至少提升约 3%。
• 先进行居中（均值相减）再进行 L2 归一化（CL2N）可再提升约 1–3%。
• 在多种骨干和数据集上，使用 L2N 或 CL2N 的 SimpleShot 与许多最先进的元学习方法相比具有竞争力甚至更优。
• 在 miniImageNet 上，带 CL2N 的 SimpleShot 变体在若干架构（如 ResNet-10/18、DenseNet、WRN 等）上经常达到顶尖性能。
• 在训练后应用特征变换也能提升 ProtoNet 的表现，表明其在“原生 1NN”之外也具有更广泛的适用性。