[论文解读] Revisiting Metric Learning for Few-Shot Image Classification

Xiaomeng Li, Lequan Yu+3 more|arXiv (Cornell University)|Jul 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用 5

一句话总结

该论文提出了一种深度 K-元组网络，通过将三元组损失推广为同时比较查询特征与 K 个负样本，重新审视了少样本图像分类中的度量学习，从而提升了新类别的特征嵌入。该方法在 miniImageNet 上实现了最先进性能，并有效泛化到未见数据集（如 CUB-200、Stanford Dogs 和 Caltech-101）。

ABSTRACT

The goal of few-shot learning is to recognize new visual concepts with just a few amount of labeled samples in each class. Recent effective metric-based few-shot approaches employ neural networks to learn a feature similarity comparison between query and support examples. However, the importance of feature embedding, i.e., exploring the relationship among training samples, is neglected. In this work, we present a simple yet powerful baseline for few-shot classification by emphasizing the importance of feature embedding. Specifically, we revisit the classical triplet network from deep metric learning, and extend it into a deep K-tuplet network for few-shot learning, utilizing the relationship among the input samples to learn a general representation learning via episode-training. Once trained, our network is able to extract discriminative features for unseen novel categories and can be seamlessly incorporated with a non-linear distance metric function to facilitate the few-shot classification. Our result on the miniImageNet benchmark outperforms other metric-based few-shot classification methods. More importantly, when evaluated on completely different datasets (Caltech-101, CUB-200, Stanford Dogs and Cars) using the model trained with miniImageNet, our method significantly outperforms prior methods, demonstrating its superior capability to generalize to unseen classes.

研究动机与目标

• 解决现有基于度量的少样本学习方法中对特征嵌入质量的忽视问题。
• 通过在训练过程中利用样本间关系，提升对未见新类别的泛化能力。
• 设计一种训练范式，通过使用 K-元组的元训练方式更贴近少样本推理场景。
• 证明所学特征在超出训练分布的多样化数据集之间具有可迁移性。
• 建立一种新的评估协议，用于测试在不同数据集上新类别的泛化能力，提升实际应用的相关性。

提出的方法

• 提出一种深度 K-元组网络，将经典三元组损失扩展为在每个训练周期中为每个锚点包含 K 个负样本。
• 构建一种广义损失函数，以促进 K 个负样本之间的类内紧凑性和类间分离性。
• 引入半困难负样本挖掘策略，以采样更具信息量的三元组，加速收敛并稳定训练过程。
• 将 K-元组特征嵌入与可学习的非线性距离度量（如关系网络）相结合，实现端到端的少样本分类。
• 采用基于任务的元学习方式进行模型训练，每个任务包含支持集和查询集，并包含 K 个负样本。
• 使用 t-SNE 可视化方法对比不同方法的特征嵌入，证明在新类别上聚类效果更优。

实验结果

研究问题

• RQ1 一种利用多个样本间关系的广义度量学习框架，是否能提升少样本分类性能？
• RQ2 与标准三元组学习相比，K-元组学习在未见类别上的特征泛化能力如何？
• RQ3 在某一数据集（如 miniImageNet）上训练的模型，能在完全不同的数据集（如 CUB-200、Stanford Dogs）上对新类别实现多大程度的泛化？
• RQ4 增加训练类别数量是否能提升少样本分类在新类别上的可迁移性与准确率？
• RQ5 K-元组损失中边距的选择如何影响模型性能与收敛性？

主要发现

• 所提出的 K-元组网络在 miniImageNet 上的 5 类 1 样本分类任务中达到 58.30% 的准确率，在 5 类 5 样本任务中达到 72.37%，优于以往基于度量的方法。
• 在额外使用 ImageNet 中的类别进行训练后，模型在 5 类 1 样本任务中准确率提升至 65.60%，在 5 类 5 样本任务中达到 77.74%，表明其在更多数据下具有良好的可扩展性。
• 即使仅在 miniImageNet 上训练，该模型在未见数据集（Caltech-101、CUB-200、Stanford Dogs 和 Cars）上的泛化能力显著优于先前方法。
• t-SNE 可视化结果表明，与 ProtoNet 和 RelationNet 相比，所学特征在新类别上更具判别性且分离度更高。
• K-元组损失的最优边距超参数为 0.5；过小的边距会忽略类间差异，导致欠拟合；过大的边距则会阻碍训练收敛。
• 半困难负样本挖掘策略提升了训练稳定性并加速了收敛，从而在各类实验中均带来了稳定的性能提升。