[论文解读] Single-shot Path Integrated Panoptic Segmentation

Sukjun Hwang, Seoung Wug Oh+1 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 41被引用 7

一句话总结

SPINet 通过将实例分割和语义分割统一到一个称为 Panoptic-Feature 的单一特征图中，提出了一种单次、路径集成的全景分割方法，该方法通过辅助任务联合优化。该方法在 Cityscapes 上实现了最先进性能（63.0% PQ），在 COCO 上实现了具有竞争力的结果（42.2% PQ），通过消除独立分支并实现在一次前向传播中端到端的掩码预测，显著提升了效率并降低了计算成本。

ABSTRACT

Panoptic segmentation, which is a novel task of unifying instance segmentation and semantic segmentation, has attracted a lot of attention lately. However, most of the previous methods are composed of multiple pathways with each pathway specialized to a designated segmentation task. In this paper, we propose to resolve panoptic segmentation in single-shot by integrating the execution flows. With the integrated pathway, a unified feature map called Panoptic-Feature is generated, which includes the information of both things and stuffs. Panoptic-Feature becomes more sophisticated by auxiliary problems that guide to cluster pixels that belong to the same instance and differentiate between objects of different classes. A collection of convolutional filters, where each filter represents either a thing or stuff, is applied to Panoptic-Feature at once, materializing the single-shot panoptic segmentation. Taking the advantages of both top-down and bottom-up approaches, our method, named SPINet, enjoys high efficiency and accuracy on major panoptic segmentation benchmarks: COCO and Cityscapes.

研究动机与目标

• 将实例分割和语义分割统一到一个高效推理路径中，以实现全景分割。
• 消除独立实例和语义分支带来的计算和架构开销。
• 通过辅助任务提升特征表示，增强相同实例和相同类别像素的聚类效果。
• 通过在单次框架中整合自顶向下和自底向上的优势，实现高精度和高效率。
• 解决先前双分支模型中常见的物体（thing）和物质（stuff）分割性能不平衡问题。

提出的方法

• 模型从共享主干网络和 FPN 生成统一的 Panoptic-Feature 特征图，集成物体和物质的表示。
• 滤波器采样模块基于上下文动态生成实例特定的卷积滤波器，受 CondInst 启发。
• 可学习的滤波器用于物质类别，而实例滤波器则通过上下文感知注意力机制为每个输入场景生成。
• 应用辅助任务——类内三元组损失和类间轮廓损失——以改善特征聚类和边界检测。
• 最终分割通过在 Panoptic-Feature 特征图上进行单次卷积完成，同时生成所有掩码。
• 将 ResNet 主干的 7×7 卷积替换为三个 3×3 卷积，以保留细粒度细节并提升性能。

实验结果

研究问题

• RQ1 全景分割能否在不使用独立实例和语义分支的情况下，有效统一到单次推理流程中？
• RQ2 在共享特征图中集成实例和物质表示，对性能和效率有何影响？
• RQ3 辅助任务在多大程度上改善了全景分割中的特征聚类和边界检测？
• RQ4 一个统一的单一模型能否在不使用 ASPP 或可变形卷积等重型模块的情况下，实现在 COCO 和 Cityscapes 上的最先进性能？
• RQ5 与双分支基线相比，路径集成是否能在降低计算成本的同时提升准确率？

主要发现

• SPINet 在 Cityscapes 验证集上实现了 63.0% PQ 的性能，创下新的最先进水平。
• 在 COCO 上，SPINet 使用 ResNet-50-FPN 主干网络实现了 42.2% PQ，与无需区域提议网络的两阶段方法性能相当。
• 将实例分支和语义分支集成后，与独立分支基线相比，模型参数减少了 10%，推理 FLOPs 降低了 15%。
• 使用辅助任务（类内三元组损失和类间轮廓损失）使 Cityscapes 上的 PQ 提升了 0.7%，边界和实例分离效果更优。
• 将 ResNet 主干替换为三个 3×3 卷积后，Cityscapes 上的 PQ 提升了 2.1%，证明了保留细粒度细节的优势。
• 尽管参数更少、FLOPs 更低，单次集成架构仍比独立分支基线高出 0.7% PQ。