[论文解读] Per-Pixel Classification is Not All You Need for Semantic Segmentation

Bowen Cheng, Alexander G. Schwing+1 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Neural Network Applications参考文献 50被引用 167

一句话总结

本文提出 MaskFormer，一种通过单一架构、损失和训练过程实现语义级与实例级分割统一的掩码分类模型，在包含大量类别词汇的数据集上超越逐像素基线。

ABSTRACT

Modern approaches typically formulate semantic segmentation as a per-pixel classification task, while instance-level segmentation is handled with an alternative mask classification. Our key insight: mask classification is sufficiently general to solve both semantic- and instance-level segmentation tasks in a unified manner using the exact same model, loss, and training procedure. Following this observation, we propose MaskFormer, a simple mask classification model which predicts a set of binary masks, each associated with a single global class label prediction. Overall, the proposed mask classification-based method simplifies the landscape of effective approaches to semantic and panoptic segmentation tasks and shows excellent empirical results. In particular, we observe that MaskFormer outperforms per-pixel classification baselines when the number of classes is large. Our mask classification-based method outperforms both current state-of-the-art semantic (55.6 mIoU on ADE20K) and panoptic segmentation (52.7 PQ on COCO) models.

研究动机与目标

• 激发一个统一的分割范式，超越逐像素分类。
• 提出一个简单的掩码分类模型（MaskFormer），可使用相同的训练设置处理语义级和实例级分割。
• 表明当类别数量增加时，掩码分类能超越逐像素基线。
• 展示 MaskFormer 在 ADE20K（语义）和 COCO 全景数据集（全景分割）上的最新技术水平。
• 提供一个高效、灵活的架构，能够利用现有逐像素分类骨干网络。

提出的方法

• 将语义分割表述为掩码分类，通过预测一组与类别分数相关联的二值掩码。
• 使用 Transformer 解码器生成 N 个分段嵌入；分割头产生类别分数，MLP 生成 N 个掩码嵌入。
• 通过逐像素嵌入与掩码嵌入的点积再经过 sigmoid 来计算二值掩码；根据任务合并或聚合掩码。
• 使用共享的掩码分类损失进行训练，结合交叉熵分类损失和二值掩码损失（ focal + dice）。
• 可选地使用二分匹配来预测可变数量的掩码并将预测与真实分段对齐。
• 推断时将像素分配给最佳匹配的掩码-类别对，并进行语义/全景输出的后处理。

实验结果

研究问题

• RQ1 单一掩码分类模型能否替代语义分割的逐像素分类？
• RQ2 MaskFormer 是否以同一模型、损失和训练流程统一语义级和实例级（全景）分割？
• RQ3 随着类别数量增加，掩码分类相较于逐像素基线的表现如何？
• RQ4 在 MaskFormer 中使用二分匹配与固定匹配的影响是什么？
• RQ5 将 MaskFormer 应用于多样化数据集（如 ADE20K、COCO-Stuff、Cityscapes 等）的准确性与效率权衡是什么？

主要发现

• MaskFormer 在词汇量大的数据集上优于逐像素分类基线（如 ADE20K-Full，847 类）。
• MaskFormer 在 ADE20K 上实现最先进的语义分割（mIoU 55.6，Swin-Transformer 主干）。
• MaskFormer 在 COCO 全景分割上达到最先进的（PQ 52.7）。
• MaskFormer 与 DETR 风格的掩码方法相匹配或超越，同时使用更简单的损失，且不需要大量辅助损失。
• MaskFormer 在大类别词汇数据集上显示出更好的识别质量（RQ），在像素级分割质量（SQ）上有一些权衡。
• 与某些基于像素的基线相比，该方法在参数和 FLOPs 方面更少，同时提高准确率，尤其是类别数量增加时。