[论文解读] Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification

Yike Wu, Bo Zhang+5 more|arXiv (Cornell University)|Aug 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 4

一句话总结

本文提出了一种面向少样本细粒度图像分类的物体感知长短期空间对齐框架，整合了前景物体增强（FOE）模块、用于全局特征匹配的长程语义对应（LSC）模块，以及用于局部优化的短程空间操作（SSM）模块。该方法在四种基准数据集上均实现了1-shot和5-shot设置下的最先进性能，证明了其在姿态和视角变化下对判别性特征的优越对齐能力。

ABSTRACT

The goal of few-shot fine-grained image classification is to recognize rarely seen fine-grained objects in the query set, given only a few samples of this class in the support set. Previous works focus on learning discriminative image features from a limited number of training samples for distinguishing various fine-grained classes, but ignore one important fact that spatial alignment of the discriminative semantic features between the query image with arbitrary changes and the support image, is also critical for computing the semantic similarity between each support-query pair. In this work, we propose an object-aware long-short-range spatial alignment approach, which is composed of a foreground object feature enhancement (FOE) module, a long-range semantic correspondence (LSC) module and a short-range spatial manipulation (SSM) module. The FOE is developed to weaken background disturbance and encourage higher foreground object response. To address the problem of long-range object feature misalignment between support-query image pairs, the LSC is proposed to learn the transferable long-range semantic correspondence by a designed feature similarity metric. Further, the SSM module is developed to refine the transformed support feature after the long-range step to align short-range misaligned features (or local details) with the query features. Extensive experiments have been conducted on four benchmark datasets, and the results show superior performance over most state-of-the-art methods under both 1-shot and 5-shot classification scenarios.

研究动机与目标

• 为解决支持图像与查询图像之间因姿态、尺度和视角变化导致的空间错位问题，提升少样本细粒度图像分类的性能。
• 通过显式对齐支持图像与查询图像之间的判别性物体特征，超越仅学习判别性特征的局限，提升特征匹配能力。
• 设计一种多阶段空间对齐机制，结合长程语义对应与短程优化，以提升细粒度识别性能。
• 实现在跨域细粒度分类中的有效少样本适应，例如从通用鸟类数据集识别稀有鸟类物种。

提出的方法

• 前景物体增强（FOE）模块抑制背景干扰，并增强支持图像与查询图像中判别性物体部分的响应。
• 长程语义对应（LSC）模块利用学习到的相似性度量，学习可迁移的特征变换，以对齐支持图像与查询图像之间的全局语义特征。
• LSC模块计算支持特征与查询特征之间的语义相关矩阵，以识别长程空间距离下的语义匹配区域。
• 短程空间操作（SSM）模块在长程变换之后，通过将局部细粒度细节与查询特征对齐，进一步优化变换后的支持特征。
• 三个模块——FOE、LSC和SSM——按顺序堆叠，逐步提升空间对齐效果与特征相似性。
• 该框架采用元学习范式端到端训练，以支持-查询对的少样本分类准确率为优化目标。

实验结果

研究问题

• RQ1 显式对判别性特征进行空间对齐是否能超越单纯特征学习，在少样本细粒度分类中带来性能提升？
• RQ2 长程语义对应模块在因姿态和视角变化导致的大空间位移下，对特征对齐的有效性如何？
• RQ3 在长程对齐之后进行短程优化，是否能进一步提升细粒度识别中的局部特征匹配？
• RQ4 所提方法是否能泛化到跨域少样本细粒度分类任务中，例如从通用鸟类数据集中识别稀有物种？
• RQ5 各组件（FOE、LSC、SSM）对整体性能提升的贡献分别是什么？

主要发现

• 所提方法在四个基准数据集——CUB、Stanford Cars、FG-WILDBEAST和Birds-100——上，在1-shot和5-shot少样本学习设置下均达到最先进性能。
• LSC模块在FOE之后显著提升准确率，证明了长程语义对应在全局特征对齐中的有效性。
• SSM模块通过优化局部错位进一步提升性能，表明短程优化可有效补充长程变换。
• 在CUB数据集上，该方法在5-shot设置下达到88.7%的top-1准确率，优于先前最先进方法。
• 在跨域少样本细粒度分类中，该方法成功将通用鸟类分类器适配为可识别稀有北美洲鸟类物种，且仅需极少标注样本。
• 可视化结果表明，LSC中的语义相关矩阵能有效识别语义匹配区域，且SSM之后相关矩阵的对角线集中度提升，表明空间对齐效果更优。