[论文解读] Panoptic SegFormer: Delving Deeper into Panoptic Segmentation with Transformers

Zhiqi Li, Wenhai Wang+6 more|arXiv (Cornell University)|Sep 8, 2021

Multimodal Machine Learning Applications被引用 11

一句话总结

Panoptic SegFormer 提出了一种基于 Transformer 的全景分割框架，包含三项关键创新：用于加速收敛和提升掩码质量的深度监督掩码解码器、将目标（things）与材料（stuff）查询分离以减少干扰的查询解耦策略，以及无需额外成本即可提升准确率的掩码级后处理方法。该方法在 COCO test-dev 上实现了 56.2% 的 PQ，以远少于先前模型的参数量创下新的 SOTA 记录。

ABSTRACT

Panoptic segmentation involves a combination of joint semantic segmentation and instance segmentation, where image contents are divided into two types: things and stuff. We present Panoptic SegFormer, a general framework for panoptic segmentation with transformers. It contains three innovative components: an efficient deeply-supervised mask decoder, a query decoupling strategy, and an improved post-processing method. We also use Deformable DETR to efficiently process multi-scale features, which is a fast and efficient version of DETR. Specifically, we supervise the attention modules in the mask decoder in a layer-wise manner. This deep supervision strategy lets the attention modules quickly focus on meaningful semantic regions. It improves performance and reduces the number of required training epochs by half compared to Deformable DETR. Our query decoupling strategy decouples the responsibilities of the query set and avoids mutual interference between things and stuff. In addition, our post-processing strategy improves performance without additional costs by jointly considering classification and segmentation qualities to resolve conflicting mask overlaps. Our approach increases the accuracy 6.2\% PQ over the baseline DETR model. Panoptic SegFormer achieves state-of-the-art results on COCO test-dev with 56.2\% PQ. It also shows stronger zero-shot robustness over existing methods. The code is released at \url{https://github.com/zhiqi-li/Panoptic-SegFormer}.

研究动机与目标

• 为解决 DETR 在全景分割中的局限性，如收敛缓慢、掩码质量低以及对 stuff 和 things 处理不理想的问题。
• 通过在掩码解码器中对注意力模块施加深度监督，提升基于 Transformer 的全景分割中掩码质量和训练效率。
• 通过将目标和材料的查询集解耦，减少两者之间的相互干扰，从而实现对每类目标的专门化处理。
• 通过联合考虑分类置信度和掩码质量来改进后处理，替代标准的逐像素 argmax，以减少误报。
• 在参数量更少的前提下实现 SOTA 性能，并提升零样本泛化能力。

提出的方法

• 采用深度监督的掩码解码器，对注意力模块施加逐层监督，加速收敛并提升注意力表征质量。
• 提出查询解耦策略，将查询集拆分为独立的目标查询（通过位置解码器处理）和材料查询（直接处理），最大限度减少跨类别干扰。
• 采用掩码级合并后处理方法，综合评估分类概率和掩码 IoU 质量，以解决重叠预测问题，替代标准的逐像素 argmax。
• 在掩码解码器中集成可变形注意力机制，以更低的计算成本高效处理多尺度特征。
• 为目标和材料共享损失头，仅对目标查询添加额外检测损失，以支持二分图匹配。
• 采用 Deformable DETR 作为主干网络，实现高效特征提取和多尺度表征学习。

实验结果

研究问题

• RQ1 在基于 Transformer 的全景分割中，对掩码解码器中的注意力模块施加深度监督，是否能提升掩码质量并加速训练收敛？
• RQ2 将目标和材料查询解耦是否能减少相互干扰并提升分割准确率，特别是在无定形材料区域？
• RQ3 一种联合考虑分类和分割质量的掩码级后处理策略，是否能优于标准的逐像素 argmax，从而更有效地减少误报？
• RQ4 在使用更少参数的前提下，统一的 Transformer 框架是否能通过共享组件显著超越先前方法在全景分割中的表现？
• RQ5 与现有方法相比，所提出的框架在零样本泛化能力方面表现如何？

主要发现

• Panoptic SegFormer 在 COCO test-dev 上实现了 56.2% 的 PQ，以远少于先前模型的参数量创下新的 SOTA 记录。
• 与基线模型 DETR 相比，该模型 PQ 提升了 6.2%，证明了所提组件的显著增益。
• 查询解耦策略相比联合匹配使 PQ 提升 2.9%，其中材料类别的精确率从联合设置下的 0.30 提升至 0.66（高偏好查询）。
• 仅后处理方法本身相比 DETR 就使 PQ 提升 1.3%，表明质量感知合并优于标准 argmax。
• 使用 Swin-L 主干网络训练 24 个周期的性能优于训练 50 个周期，表明深度监督带来了更快的收敛速度。
• 该模型展现出强于现有方法的零样本泛化能力，表明其具备更强的泛化性能。