[论文解读] Weakly-supervised Object Localization for Few-shot Learning and Fine-grained Few-shot Learning

Xiaojian He, Jinfu Lin+1 more|arXiv (Cornell University)|Mar 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 6

一句话总结

该论文提出了一种弱监督物体定位方法，用于少样本及细粒度少样本学习，采用基于自注意力的互补模块（SAC）定位判别性区域，并利用语义对齐模块（SAM）通过最近邻对齐计算鲁棒的相似性距离。该方法在细粒度基准上表现尤为出色，显著提升了定位准确率和跨数据集的泛化能力，达到当前最优性能。

ABSTRACT

Few-shot learning (FSL) aims to learn novel visual categories from very few samples, which is a challenging problem in real-world applications. Many methods of few-shot classification work well on general images to learn global representation. However, they can not deal with fine-grained categories well at the same time due to a lack of subtle and local information. We argue that localization is an efficient approach because it directly provides the discriminative regions, which is critical for both general classification and fine-grained classification in a low data regime. In this paper, we propose a Self-Attention Based Complementary Module (SAC Module) to fulfill the weakly-supervised object localization, and more importantly produce the activated masks for selecting discriminative deep descriptors for few-shot classification. Based on each selected deep descriptor, Semantic Alignment Module (SAM) calculates the semantic alignment distance between the query and support images to boost classification performance. Extensive experiments show our method outperforms the state-of-the-art methods on benchmark datasets under various settings, especially on the fine-grained few-shot tasks. Besides, our method achieves superior performance over previous methods when training the model on miniImageNet and evaluating it on the different datasets, demonstrating its superior generalization capacity. Extra visualization shows the proposed method can localize the key objects more interval.

研究动机与目标

• 解决在低数据环境下全局表征无法捕捉细粒度细节的少样本学习挑战。
• 通过定位判别性物体区域，无需边界框标注，提升少样本分类性能。
• 通过用最近邻-based语义对齐替代原型平均，增强特征表示的稳定性。
• 开发一种轻量级、端到端可训练的模块，适用于多样化少样本及细粒度少样本数据集。

提出的方法

• 基于自注意力的互补模块（SAC）利用通道注意力模块（CBAM）从特征图生成重要性掩码和互补擦除掩码。
• 分类器在原始特征和掩码特征上进行双重分类，生成两个类激活图（CAM），并通过融合生成更完整、更完整的物体定位结果。
• 通过基于融合CAM的插值方法，从最激活区域选取深层描述符，聚焦于判别性局部特征。
• 语义对齐模块（SAM）通过将每个查询描述符与支持描述符中的最近邻匹配，计算语义对齐距离，提升对噪声的鲁棒性。
• 该框架支持端到端训练，兼容多种主干网络，如VGG-16和ResNet。
• 该方法避免依赖额外的数据增强或标注幻觉网络，转而专注于注意力驱动的定位与相对相似性学习。

实验结果

研究问题

• RQ1 弱监督物体定位是否可通过聚焦判别性局部区域，提升少样本分类性能？
• RQ2 与标准CAM方法相比，基于注意力的互补特征学习如何提升定位准确率？
• RQ3 在低数据环境下，基于最近邻的语义对齐是否优于原型平均？
• RQ4 所提方法在不同少样本及细粒度少样本数据集上的泛化能力如何？
• RQ5 SAC和SAM模块能否有效结合，同时提升定位与分类性能？

主要发现

• 在Stanford Cars数据集上，1-shot设置下达到82.24%的准确率，5-shot设置下达到95.43%，显著优于先前方法在细粒度少样本任务上的表现。
• 在CUB-200-2011数据集上，5-shot设置下准确率达到83.72%，展现出强大的细粒度分类性能。
• 消融实验表明，在5-shot设置下，使用SAM相比欧氏距离，ResNet主干网络的准确率提升达25.11%。
• 仅使用SAC模块时，相比无SAC的基线模型，1-shot设置下性能提升4.47%，5-shot设置下提升4.19%。
• 可视化结果表明，SAC模块在细粒度数据集上比标准CAM更准确地定位出更完整、更连贯的物体区域。
• 当在miniImageNet上训练后，该模型在未见数据集上泛化良好，在Stanford Cars上1-shot设置下达到58.11%准确率，5-shot设置下达到77.83%准确率。