[论文解读] Stacked Semantic-Guided Attention Model for Fine-Grained Zero-Shot Learning

Yunlong Yu, Zhong Ji+4 more|arXiv (Cornell University)|May 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用 27

一句话总结

本文提出了一种堆叠语义引导注意力（S²GA）模型，用于细粒度零样本学习，通过使用类别语义描述逐步加权局部图像区域，增强判别性特征表示。通过在端到端可训练框架中整合全局特征与注意力加权的局部特征，该方法在CUB和NABird数据集上实现了最先进性能，零样本分类准确率相比基线方法最高提升6.4%。

ABSTRACT

Zero-Shot Learning (ZSL) is achieved via aligning the semantic relationships between the global image feature vector and the corresponding class semantic descriptions. However, using the global features to represent fine-grained images may lead to sub-optimal results since they neglect the discriminative differences of local regions. Besides, different regions contain distinct discriminative information. The important regions should contribute more to the prediction. To this end, we propose a novel stacked semantics-guided attention (S2GA) model to obtain semantic relevant features by using individual class semantic features to progressively guide the visual features to generate an attention map for weighting the importance of different local regions. Feeding both the integrated visual features and the class semantic features into a multi-class classification architecture, the proposed framework can be trained end-to-end. Extensive experimental results on CUB and NABird datasets show that the proposed approach has a consistent improvement on both fine-grained zero-shot classification and retrieval tasks.

研究动机与目标

• 为解决全局图像特征在细粒度零样本学习中的局限性，即无法捕捉相似类别之间的细微局部判别差异。
• 通过基于类别描述语义相关性的动态加权局部图像区域，提升零样本分类与检索性能。
• 开发一种新型注意力机制，利用类别语义嵌入逐步优化特征重要性，而非仅依赖全局特征。
• 实现统一视觉-语义匹配框架的端到端训练，联合优化视觉特征与语义对齐。

提出的方法

• 该模型使用从深度卷积神经网络提取的基于区域的视觉特征，以保留空间细节，替代全局图像表征。
• 堆叠语义引导注意力（SGA）模块采用多层注意力机制，其中每一层根据局部区域与类别语义特征的相似度，逐步优化其重要性权重。
• 注意力机制利用类别语义嵌入（如Word2Vec、TF-IDF）引导视觉区域的加权，突出最符合类别描述的区域。
• 通过将全局图像特征与加权局部特征相结合，形成集成视觉特征，构建用于分类的统一表征。
• 最终的视觉-语义嵌入输入两层神经网络进行多分类，使用交叉熵损失进行端到端训练。
• 该框架支持零样本分类与检索，通过计算嵌入图像特征与类别特征之间的语义相似度实现。

实验结果

研究问题

• RQ1 注意力机制是否能通过聚焦于语义相关的局部图像区域，提升细粒度零样本分类性能？
• RQ2 通过类别语义逐步优化注意力图的堆叠注意力机制，是否优于单层注意力机制？
• RQ3 在零样本学习中，将全局特征与注意力加权的局部特征结合，与仅使用全局特征相比，性能如何？
• RQ4 类别描述提供的语义引导在未见类别中，对特征表示与对齐的改善程度如何？

主要发现

• 所提出的S²GA模型在CUB数据集SCS划分下达到68.9%的零样本分类准确率，相比无注意力机制的基线模型提升6.4%。
• 在NABird数据集中，该方法达到41.8%的准确率，相比基线提升3.4%，表明在多个数据集上均具有一致性改进。
• 使用三层堆叠注意力层相比两层仅有微小增益，且超过两层后性能趋于平稳，表明收益递减。
• 在零样本检索任务中，该模型在CUB数据集上达到42.6%的mAP（100%排名），在NABird数据集上达到36.6%，优于所有先前方法，仅在NABird上略逊于GAA。
• 定性结果表明，当类内差异较小时，模型能成功检索到正确类别的图像，但在视觉相似类别（如“黑嘴 cuckoo”与“黄嘴 cuckoo”）上表现困难。
• 消融实验验证了注意力机制对性能的显著提升，两层SGA模型在准确率与复杂度之间达到最佳平衡。