[论文解读] SEGA: Semantic Guided Attention on Visual Prototype for Few-Shot Learning

Fengyuan Yang, Ruiping Wang+1 more|arXiv (Cornell University)|Nov 8, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

SEGA 提出了一种语义引导的注意力机制，利用类别级别的语义嵌入在少样本学习过程中引导视觉特征注意力，从而增强判别性原型表征。通过从语义先验中学习类别特定的注意力向量，SEGA 在 miniImageNet、tieredImageNet、CUB 和 CIFAR-FS 上均取得了最先进性能，尤其在 1-shot 设置下，准确率相比之前方法最高提升 4.5%。

ABSTRACT

Teaching machines to recognize a new category based on few training samples especially only one remains challenging owing to the incomprehensive understanding of the novel category caused by the lack of data. However, human can learn new classes quickly even given few samples since human can tell what discriminative features should be focused on about each category based on both the visual and semantic prior knowledge. To better utilize those prior knowledge, we propose the SEmantic Guided Attention (SEGA) mechanism where the semantic knowledge is used to guide the visual perception in a top-down manner about what visual features should be paid attention to when distinguishing a category from the others. As a result, the embedding of the novel class even with few samples can be more discriminative. Concretely, a feature extractor is trained to embed few images of each novel class into a visual prototype with the help of transferring visual prior knowledge from base classes. Then we learn a network that maps semantic knowledge to category-specific attention vectors which will be used to perform feature selection to enhance the visual prototypes. Extensive experiments on miniImageNet, tieredImageNet, CIFAR-FS, and CUB indicate that our semantic guided attention realizes anticipated function and outperforms state-of-the-art results.

研究动机与目标

• 通过利用语义先验知识来改善特征表征，以应对少样本学习中视觉数据有限的挑战。
• 实现从语义嵌入到关键视觉特征选择的自顶向下注意力引导，以适应新类别。
• 学习从语义嵌入到类别特定注意力向量的可微映射，用于视觉原型。
• 在每类仅有一个或少数样本可用时，提升视觉原型的泛化能力和判别性。
• 验证语义知识能否以类人、基于注意力的方式有效引导视觉感知。

提出的方法

• 在基础类别上训练特征提取器，将少样本图像嵌入为视觉原型。
• 通过可学习网络将类别语义嵌入（如文本描述或类别名称）映射为类别特定的注意力向量。
• 推理时，从新类别的名称生成注意力向量，并通过逐元素乘法作用于视觉原型，以突出判别性特征。
• 注意力机制通过强调关键视觉维度实现特征选择，从而提升原型的判别性。
• 通过在基础类别上使用交叉熵损失进行端到端训练，同时通过对比学习或度量学习提供注意力监督。
• 该方法泛化能力强：在基础类别上学习的语义-视觉对齐可有效迁移至新类别。

实验结果

研究问题

• RQ1 语义知识能否在少样本学习中有效用于引导视觉特征注意力？
• RQ2 由语义引导的注意力是否能提升样本极少情况下的视觉原型判别性？
• RQ3 与仅依赖视觉特征或原型重建的基线方法相比，语义引导注意力表现如何？
• RQ4 语义空间与视觉空间之间的对齐从基础类别到新类别在多大程度上具有泛化能力？
• RQ5 随着样本数增加，语义引导的优势是否会减弱？

主要发现

• 在 miniImageNet 的 5 类 1 样本设置下，SEGA 达到 69.04% 的 top-1 准确率，比之前的 SOTA 方法 AM3 提高 3.74%。
• 在 tieredImageNet 上，SEGA 在 5 类 1 样本设置下达到 79.03% 的准确率，领先次佳方法 0.91%。
• 在 CUB 上，SEGA 在 5 类 1 样本设置下达到 84.57% 的准确率，显著优于之前的 SOTA 方法 FEAT（68.87%）和 DeepEMD（75.65%）。
• 在 CIFAR-FS 上，SEGA 在 5 类 1 样本设置下达到 78.45% 的准确率，超过 MetaOptNet（72.0%）和 RFS（73.9%）。
• Grad-CAM 可视化结果表明，SEGA 聚焦于语义相关的区域（如动物身体部位），而基线方法常关注背景噪声。
• 语义引导带来的性能增益在 1 样本场景下最为显著，随着样本数增加而减弱，表明语义注意力可补偿视觉原型的不稳定性。