[论文解读] Pyramid Fusion Transformer for Semantic Segmentation

Zipeng Qin, Jianbo Liu+5 more|arXiv (Cornell University)|Jan 11, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出金字塔融合Transformer（PFT），一种用于实例分割的多尺度Transformer解码器，通过跨尺度交叉查询注意力机制增强特征融合。通过利用1/8、1/16和1/32分辨率的特征金字塔，并使用可学习查询进行交叉注意力，PFT在采用Swin-L主干网络进行多尺度推理时，在ADE20K数据集上实现了57.4 mIoU的最先进性能。

ABSTRACT

The recently proposed MaskFormer gives a refreshed perspective on the task of semantic segmentation: it shifts from the popular pixel-level classification paradigm to a mask-level classification method. In essence, it generates paired probabilities and masks corresponding to category segments and combines them during inference for the segmentation maps. In our study, we find that per-mask classification decoder on top of a single-scale feature is not effective enough to extract reliable probability or mask. To mine for rich semantic information across the feature pyramid, we propose a transformer-based Pyramid Fusion Transformer (PFT) for per-mask approach semantic segmentation with multi-scale features. The proposed transformer decoder performs cross-attention between the learnable queries and each spatial feature from the feature pyramid in parallel and uses cross-scale inter-query attention to exchange complimentary information. We achieve competitive performance on three widely used semantic segmentation datasets. In particular, on ADE20K validation set, our result with Swin-B backbone surpasses that of MaskFormer's with a much larger Swin-L backbone in both single-scale and multi-scale inference, achieving 54.1 mIoU and 55.7 mIoU respectively. Using a Swin-L backbone, we achieve single-scale 56.1 mIoU and multi-scale 57.4 mIoU, obtaining state-of-the-art performance on the dataset. Extensive experiments on three widely used semantic segmentation datasets verify the effectiveness of our proposed method.

研究动机与目标

• 解决如MaskFormer等实例分类模型在使用单尺度特征时因缺乏细粒度或全局上下文信息而导致性能下降的问题。
• 通过有效融合多尺度特征，在不带来过高计算成本的前提下提升分割精度。
• 设计一种高效的跨尺度注意力机制，使查询token能够在不同特征尺度之间交换语义信息。
• 通过一种新颖的注意力权重损失优化查询-像素注意力机制，以抑制对不存在类别区域的虚假注意力。
• 在保持计算效率的同时，在标准基准上实现最先进性能。

提出的方法

• 提出一种多尺度Transformer解码器，通过共享的可学习对象查询并行处理来自1/8、1/16和1/32输入分辨率的特征图。
• 引入跨尺度交叉查询注意力，实现不同尺度查询之间的信息交互，使其能在不直接计算跨尺度token的情况下关注互补的语义信息。
• 采用基于可学习查询的交叉注意力机制，将查询与多尺度特征关联，生成成对的概率预测和掩码预测。
• 应用一种新颖的注意力权重损失，对不对应于现有类别的查询进行正则化，减少其对无关图像区域的虚假注意力。
• 仅在训练前3/4阶段优化注意力权重损失，以平衡正则化效果与模型容量。
• 对解码器的各尺度预测结果进行平均，生成最终的分割图，从而提升鲁棒性与准确性。

实验结果

研究问题

• RQ1 基于Transformer的解码器是否能在不带来过高计算成本的前提下，有效融合多尺度特征用于实例分割？
• RQ2 与直接拼接或对所有token进行自注意力相比，跨尺度交叉查询注意力在不同分辨率层级之间如何改善特征通信？
• RQ3 在训练过程中引入一种抑制对不存在类别注意力的注意力权重损失，其影响是什么？
• RQ4 在训练的某一阶段移除注意力权重损失，是否能提升模型泛化能力与性能？
• RQ5 在性能与FLOPs之间取得平衡时，多尺度特征的最佳数量与分辨率是什么？

主要发现

• 在采用Swin-B主干网络进行多尺度推理时，PFT在ADE20K数据集上达到55.7 mIoU，优于使用更大Swin-L主干网络的MaskFormer。
• 在采用Swin-B主干网络时，PFT在ADE20K数据集上实现57.4 mIoU的多尺度推理性能，创下该数据集的新最先进结果。
• 消融实验表明，使用1/8、1/16和1/32分辨率的特征可实现最佳性能-计算权衡，mIoU为48.7；若增加1/4分辨率特征，性能仅小幅提升至48.9 mIoU，但FLOP成本显著增加。
• 仅在前120k个训练迭代中应用注意力权重损失时，性能最佳（48.7 mIoU）且方差最低，表明早期移除正则化有助于提升模型容量。
• 移除初始查询的额外监督会轻微降低性能（从48.7降至48.5 mIoU），表明早期监督有助于对齐查询与网络动态。
• 可视化结果表明，移除注意力权重损失后，注意力权重与类别掩码之间的相关性降低，表明查询在移除后更倾向于关注目标类别之外的区域。