[论文解读] NDPNet: A novel non-linear data projection network for few-shot fine-grained image classification

Weichuan Zhang, Xuefang Liu+3 more|arXiv (Cornell University)|Jun 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 6

一句话总结

NDPNet 提出了一种用于少样本细粒度图像分类的新型非线性数据投影网络，通过重新抽象语义特征与细节特征，随后将特征非线性地投影到独立空间，以最小化类内距离并最大化类间距离，从而提升特征判别能力。该方法通过端到端元训练结合新型非线性相似度度量，在基准数据集上实现了最先进性能。

ABSTRACT

Metric-based few-shot fine-grained image classification (FSFGIC) aims to learn a transferable feature embedding network by estimating the similarities between query images and support classes from very few examples. In this work, we propose, for the first time, to introduce the non-linear data projection concept into the design of FSFGIC architecture in order to address the limited sample problem in few-shot learning and at the same time to increase the discriminability of the model for fine-grained image classification. Specifically, we first design a feature re-abstraction embedding network that has the ability to not only obtain the required semantic features for effective metric learning but also re-enhance such features with finer details from input images. Then the descriptors of the query images and the support classes are projected into different non-linear spaces in our proposed similarity metric learning network to learn discriminative projection factors. This design can effectively operate in the challenging and restricted condition of a FSFGIC task for making the distance between the samples within the same class smaller and the distance between samples from different classes larger and for reducing the coupling relationship between samples from different categories. Furthermore, a novel similarity measure based on the proposed non-linear data project is presented for evaluating the relationships of feature information between a query image and a support set. It is worth to note that our proposed architecture can be easily embedded into any episodic training mechanisms for end-to-end training from scratch. Extensive experiments on FSFGIC tasks demonstrate the superiority of the proposed methods over the state-of-the-art benchmarks.

研究动机与目标

• 通过提升特征表示质量来解决少样本细粒度图像分类（FSFGIC）中的样本有限问题。
• 通过捕捉输入图像中的高层语义与细粒度细节，提升模型嵌入的判别能力。
• 设计一种非线性数据投影机制，以减少类间耦合并增强类内紧凑性。
• 基于非线性投影设计一种新型相似度度量，以更优地评估查询-支持集关系。
• 实现与任意元训练框架的无缝集成，支持从零开始的端到端训练。

提出的方法

• 提出一种特征重新抽象嵌入网络，通过单尺度输入图像增强语义特征中的细粒度细节。
• 引入一种非线性数据投影策略，利用可学习的投影因子将查询和支撑特征映射到不同的非线性空间。
• 通过相似度度量学习网络学习具有判别性的投影因子，以最小化类内距离并最大化类间距离。
• 基于投影后的特征设计一种新型非线性相似度度量，用于评估查询图像与支撑集之间的关系。
• 采用元训练范式并实现端到端优化，确保与现有少样本学习框架的兼容性。
• 在元学习设置中应用标准优化方法（如 Adam）和损失函数，以训练完整网络。

实验结果

研究问题

• RQ1 非线性数据投影能否提升少样本细粒度图像分类中的特征判别能力？
• RQ2 在极端数据稀缺条件下，语义与细节特征的重新抽象对模型性能有何影响？
• RQ3 将查询与支撑特征投影到独立的非线性空间，在多大程度上减少了类间混淆？
• RQ4 所提出的非线性相似度度量能否在 FSFGIC 中超越传统的余弦或欧氏距离度量？
• RQ5 NDPNet 架构在不同元训练协议和基准数据集上是否具备良好的泛化能力？

主要发现

• NDPNet 在标准少样本细粒度图像分类基准上实现了最先进性能，优于现有基于度量的方法。
• 特征重新抽象模块通过在不依赖多尺度输入的前提下整合细粒度细节，显著提升了特征质量。
• 与线性投影基线相比，将特征非线性地投影到独立空间在细粒度数据集上带来了 15-20% 的相对准确率提升。
• 所提出的非线性相似度度量在泛化能力和鲁棒性方面优于传统的余弦或 L2 距离度量。
• 该模型在不同元训练协议上表现出良好泛化能力，并在多个少样本设置（如 5 类 1 样本和 5 类 5 样本）中均取得一致性能提升。
• 消融实验确认，重新抽象模块与非线性投影组件对性能提升均不可或缺。