[论文解读] Prototype as Query for Few Shot Semantic Segmentation

Leilei Cao, Yibo Guo+2 more|arXiv (Cornell University)|Nov 27, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出ProtoFormer，一种新颖的少样本语义分割框架，将支持集原型作为Transformer解码器中的条件查询，使注意力机制能够聚焦于查询图像中的相关语义特征。通过将查询特征建模为键和值，该方法比基于原型或像素级的方法更有效地捕捉空间细节，在仅使用0.6M可学习参数的情况下，实现了COCO-20i上的最先进性能。

ABSTRACT

Few-shot Semantic Segmentation (FSS) was proposed to segment unseen classes in a query image, referring to only a few annotated examples named support images. One of the characteristics of FSS is spatial inconsistency between query and support targets, e.g., texture or appearance. This greatly challenges the generalization ability of methods for FSS, which requires to effectively exploit the dependency of the query image and the support examples. Most existing methods abstracted support features into prototype vectors and implemented the interaction with query features using cosine similarity or feature concatenation. However, this simple interaction may not capture spatial details in query features. To alleviate this limitation, a few methods utilized all pixel-wise support information via computing the pixel-wise correlations between paired query and support features implemented with the attention mechanism of Transformer. These approaches suffer from heavy computation on the dot-product attention between all pixels of support and query features. In this paper, we propose a simple yet effective framework built upon Transformer termed as ProtoFormer to fully capture spatial details in query features. It views the abstracted prototype of the target class in support features as Query and the query features as Key and Value embeddings, which are input to the Transformer decoder. In this way, the spatial details can be better captured and the semantic features of target class in the query image can be focused. The output of the Transformer-based module can be viewed as semantic-aware dynamic kernels to filter out the segmentation mask from the enriched query features. Extensive experiments on PASCAL-$5^{i}$ and COCO-$20^{i}$ show that our ProtoFormer significantly advances the state-of-the-art methods.

研究动机与目标

• 解决少样本语义分割中支持图像与查询图像之间的空间不一致性问题。
• 在简单原型匹配或全像素级注意力之外，提升查询图像与支持图像之间的特征交互能力。
• 在保留细粒度空间细节的同时降低计算成本。
• 开发一种轻量化但高效的模型，能够在仅有少量标注样本的情况下泛化到未见类别。
• 探索在Transformer中使用原型作为条件查询在少样本分割中的潜力。

提出的方法

• 该方法将支持图像中类别相关的原型作为Transformer解码器中的可学习查询嵌入。
• 使用查询图像中的特征作为Transformer解码器中的键和值。
• Transformer解码器的输出作为语义感知的动态卷积核，用于通过增强的查询特征细化分割掩码。
• 该框架集成一个像素解码器模块，在特征增强后生成最终的分割掩码。
• 模型使用共享主干网络（例如ResNet50）从支持图像和查询图像中提取特征。
• 该架构端到端可训练，采用交叉熵损失和Dice损失进行分割监督。

实验结果

研究问题

• RQ1 在Transformer解码器中将支持原型作为查询，是否能改善支持图像与查询图像之间的特征对齐？
• RQ2 这种基于查询的注意力机制是否在少样本语义分割中优于传统的原型匹配和全像素级注意力？
• RQ3 所提出的方法是否能以显著更少的参数量实现最先进性能？
• RQ4 模型性能对Transformer解码器层数或特征通道数的敏感度如何？
• RQ5 原型作为查询的机制是否能提升在COCO-20i等复杂多样数据集上的泛化能力？

主要发现

• ProtoFormer在COCO-20i上实现了新的最先进性能，相较于DCAMA，在ResNet101主干网络下，1-shot和5-shot分割的平均mIoU分别提升3.5%和2.8%。
• 在PASCAL-5i上，ProtoFormer分别在1-shot和5-shot设置下，相较于基线模型，平均mIoU提升0.9%和1.0%，且仅增加0.03M参数。
• 该方法仅使用0.6M可学习参数即达到最先进性能，显著少于DCAMA，展现出极高的参数效率。
• 消融实验表明，模型对Transformer解码器层数具有鲁棒性，仅1层即可达到最优性能。
• 模型在PASCAL-5i的挑战性折子集上保持强性能，并在COCO-20i上展现出良好的泛化能力，表明其具备强大的泛化能力。
• 定性结果表明，与基线方法相比，ProtoFormer减少了将背景误分类为前景的情况，并改善了边界定位效果。