[论文解读] PARN: Position-Aware Relation Networks for Few-Shot Learning

Ziyang Wu, Yuwei Li+2 more|arXiv (Cornell University)|Sep 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 7

一句话总结

本文提出位置感知关系网络（PARN），一种新颖的少样本学习框架，通过引入可变形特征提取器（DFE）和双相关性注意力机制（DCA），增强关系网络（RNs）的空间感知能力与度量学习的鲁棒性。PARN在Omniglot和Mini-ImageNet数据集上达到最先进性能，在Mini-ImageNet上的5-way 1-shot准确率达到54.36%，并在Omniglot上超越了以往5-way 5-shot的性能结果。

ABSTRACT

Few-shot learning presents a challenge that a classifier must quickly adapt to new classes that do not appear in the training set, given only a few labeled examples of each new class. This paper proposes a position-aware relation network (PARN) to learn a more flexible and robust metric ability for few-shot learning. Relation networks (RNs), a kind of architectures for relational reasoning, can acquire a deep metric ability for images by just being designed as a simple convolutional neural network (CNN) [23]. However, due to the inherent local connectivity of CNN, the CNN-based relation network (RN) can be sensitive to the spatial position relationship of semantic objects in two compared images. To address this problem, we introduce a deformable feature extractor (DFE) to extract more efficient features, and design a dual correlation attention mechanism (DCA) to deal with its inherent local connectivity. Successfully, our proposed approach extents the potential of RN to be position-aware of semantic objects by introducing only a small number of parameters. We evaluate our approach on two major benchmark datasets, i.e., Omniglot and Mini-Imagenet, and on both of the datasets our approach achieves state-of-the-art performance with the setting of using a shallow feature extraction network. It's worth noting that our 5-way 1-shot result on Omniglot even outperforms the previous 5-way 5-shot results.

研究动机与目标

• 为解决标准关系网络（RNs）在少样本学习中因CNN局部感受野导致的空间位置敏感性问题。
• 通过使RNs具备对语义物体位置和细粒度特征的感知能力，提升其度量学习性能。
• 设计一种轻量化、参数高效的模型，无需依赖深层特征提取器即可提升泛化能力。
• 仅使用浅层特征提取器，在标准少样本基准上实现最先进性能。

提出的方法

• 提出可变形特征提取器（DFE），通过学习自适应采样偏移量，聚焦于相关语义物体并减少背景噪声。
• 提出双相关性注意力机制（DCA），利用交叉注意力与自注意力建模两输入特征之间的全局空间关系。
• 使用交叉注意力（CCA）基于相似性计算特征间关联，实现在RNs处理前的初步比较。
• 使用自注意力（SCA）捕捉特征内部依赖关系，优化每个输入特征的表示。
• 在DCA中联合使用CCA与SCA，实现密集的、位置感知的特征聚合，使RNs能够比较不同空间位置的特征。
• 采用基于简单CNN的关系网络作为度量模块，DFE与DCA共同增强其处理空间偏移或细粒度特征的能力。

实验结果

研究问题

• RQ1 能否使关系网络在少样本图像比较中对空间位置变化更具鲁棒性？
• RQ2 注意力机制如何提升RNs对非空间对齐特征的比较能力？
• RQ3 在合理的注意力与特征提取设计下，轻量化浅层特征提取器能否实现最先进少样本学习性能？
• RQ4 引入可变形卷积与双注意力机制是否能提升少样本学习基准的泛化能力？

主要发现

• PARN在5-way 1-shot Mini-ImageNet基准上达到54.36%的准确率，较基线RNs提升3.07个百分点。
• 在5-way 5-shot Mini-ImageNet任务中，PARN达到70.50%的准确率，超过以往在Omniglot上的5-way 1-shot结果。
• 消融实验表明，DCA中CCA与SCA的联合使用带来最大性能提升，较基线RNs提升3.21%。
• Grad-CAM可视化结果表明，DCA使网络能够关注图像间非重叠的语义相关区域，提升比较的鲁棒性。
• DFE的有效感受野（ERF）可视化显示其自适应聚焦于物体区域，有效过滤无关背景特征。
• 使用DCA训练可实现更快收敛，表明其提升了学习动态与特征表示学习能力。