[论文解读] SpatialFlow: Bridging All Tasks for Panoptic Segmentation

Qiang Chen, Anda Cheng+3 more|arXiv (Cornell University)|Oct 19, 2019

Advanced Neural Network Applications参考文献 73被引用 10

一句话总结

该论文提出 SpatialFlow，一种统一的、位置感知的全景分割框架，通过空间信息流将目标检测、实例分割和stuff分割任务统一起来。通过在任务特定的子网络和特征交织机制之间，将框回归中的空间上下文传递至分割头，SpatialFlow 在 COCO 上实现 47.9 PQ 的最先进性能，在 Cityscapes 上实现 62.5 PQ。

ABSTRACT

Object location is fundamental to panoptic segmentation as it is related to all things and stuff in the image scene. Knowing the locations of objects in the image provides clues for segmenting and helps the network better understand the scene. How to integrate object location in both thing and stuff segmentation is a crucial problem. In this paper, we propose spatial information flows to achieve this objective. The flows can bridge all sub-tasks in panoptic segmentation by delivering the object's spatial context from the box regression task to others. More importantly, we design four parallel sub-networks to get a preferable adaptation of object spatial information in sub-tasks. Upon the sub-networks and the flows, we present a location-aware and unified framework for panoptic segmentation, denoted as SpatialFlow. We perform a detailed ablation study on each component and conduct extensive experiments to prove the effectiveness of SpatialFlow. Furthermore, we achieve state-of-the-art results, which are $47.9$ PQ and $62.5$ PQ respectively on MS-COCO and Cityscapes panoptic benchmarks. Code will be available at https://github.com/chensnathan/SpatialFlow.

研究动机与目标

• 解决全景分割中目标检测与分割任务之间缺乏整合的问题，特别是空间上下文利用不足的问题。
• 克服独立或启发式后处理流水线的局限性，这些方法忽略了实例分割与 stuff 分割之间的关系。
• 开发一个统一框架，实现从目标检测到实例分割和 stuff 分割子任务的无缝空间上下文传递。
• 通过显式特征传播，使两个子任务均能感知物体位置，从而提升分割精度。
• 在保持跨基准良好泛化能力的同时，实现精度与推理速度的平衡。

提出的方法

• 设计四个并行子网络——框回归、分类、实例分割和 stuff 分割——每个子网络配备任务特定的头，以保留不同的特征格式。
• 引入空间信息流，将框回归头中的空间上下文传递至分类头、实例分割头和 stuff 分割头。
• 采用特征交织机制，将空间上下文整合至分割头，增强定位能力和边界感知能力。
• 采用 RetinaNet 作为骨干网络，避免实例级特征表示，从而为 stuff 分割保留像素级空间上下文。
• 应用 CAM 可视化分析注意力图，验证空间流能增强对物体的关注并提升边界检测精度。
• 进行消融实验，评估空间流和特征融合策略的贡献。

实验结果

研究问题

• RQ1 如何有效将目标检测中的空间上下文传递至全景分割中的实例分割和 stuff 分割，以提升性能？
• RQ2 显式空间信息流对统一全景分割框架性能的影响是什么？
• RQ3 空间上下文整合是否不仅能提升全景分割性能，也能增强独立目标检测模型的性能？
• RQ4 骨干网络的选择（如单阶段 vs. 两阶段）如何影响分割任务中空间上下文的保留与利用？
• RQ5 在真实视觉系统中，使用空间流时，精度与推理速度之间的权衡如何？

主要发现

• SpatialFlow 在 COCO 测试开发集上达到 47.9 PQ，在 Cityscapes 验证集上达到 62.5 PQ，创下新的最先进性能记录。
• 与仅从分类头进行简单特征融合的基线相比，空间流使 PQ 提升 0.7，PQ_Th 提升 0.8，PQ_St 提升 0.5。
• 在输入尺寸为 400px 时，模型保持 19.6 FPS 推理速度，同时达到 37.4 PQ，展现出有利的精度-速度权衡。
• 检测性能因空间流而提升：在 COCO 上，mAP 从 35.6 提升至 36.7，AP_75 从 37.7 提升至 39.4。
• CAM 可视化结果表明，空间流增强了实例分支中对物体的关注，并提升了 stuff 分支的边界感知能力。
• 消融实验表明，空间流在跨任务特征融合方面优于简单的特征拼接或逐元素相加。