[论文解读] PolarMask: Single Shot Instance Segmentation with Polar Representation

Enze Xie, Peize Sun+5 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 34被引用 59

一句话总结

PolarMask 引入了一种单阶段、无锚框的实例分割方法，将掩模建模为极坐标下的轮廓，使用实例中心分类和密集距离回归，配合 Polar IoU Loss 和 Polar Centerness 提高准确性。

ABSTRACT

In this paper, we introduce an anchor-box free and single shot instance segmentation method, which is conceptually simple, fully convolutional and can be used as a mask prediction module for instance segmentation, by easily embedding it into most off-the-shelf detection methods. Our method, termed PolarMask, formulates the instance segmentation problem as instance center classification and dense distance regression in a polar coordinate. Moreover, we propose two effective approaches to deal with sampling high-quality center examples and optimization for dense distance regression, respectively, which can significantly improve the performance and simplify the training process. Without any bells and whistles, PolarMask achieves 32.9% in mask mAP with single-model and single-scale training/testing on challenging COCO dataset. For the first time, we demonstrate a much simpler and flexible instance segmentation framework achieving competitive accuracy. We hope that the proposed PolarMask framework can serve as a fundamental and strong baseline for single shot instance segmentation tasks. Code is available at: github.com/xieenze/PolarMask.

研究动机与目标

• 推动一个更简单、单阶段的实例分割框架，不使用锚框。
• 通过极坐标轮廓表示来建模掩模，相较于像素级方法降低复杂性。
• 开发与极坐标几何相一致的学习目标（中心分类和密集距离回归）
• 通过 Polar IoU Loss 和 Polar Centerness 提升训练稳定性和准确性。
• 展示在相对简单、快速推理下与更复杂方法竞争力的 COCO 结果。

提出的方法

• 用一个中心点和 N 条射线（极坐标）到其轮廓来表示每个对象掩模。
• 从采样的中心预测中心目标性（分类）和密集射线长度（距离回归）。
• 使用质心作为首选的中心采样，优于框中心以提高覆盖度。
• 引入 Polar Centerness，通过射线长度的平衡来对中心采样进行加权。
• 定义 Polar IoU Loss，以极域中的整条射线回归来优化掩模 IoU。
• 通过将极径转换为轮廓点并对预测的掩模执行 NMS 来组装掩模。

实验结果

研究问题

• RQ1 通过从中心预测极坐标轮廓半径，单阶段、无锚框模型是否能够实现具有竞争力的实例分割？
• RQ2 Polar IoU Loss 和 Polar Centerness 是否在极表示框架中提升训练稳定性和掩模精度？
• RQ3 基于质心的采样是否优于基于框中心的采样以获得更可靠的掩模预测？
• RQ4 在标准训练/测试下，PolarMask 与现有的一阶段和两阶段方法在 COCO 上的对比如何？
• RQ5 射线数量和骨干网络对分割性能和速度有何影响？

主要发现

• PolarMask 在 COCO 上使用 ResNet-101-FPN，单模型、单尺度训练/测试，达到 32.9% 的掩模 AP。
• 增加射线数量会提升上限掩模 IoU 直到饱和；例如，射线越多，AP 越高，约在 72 条射线左右达到平台期，随后增益趋于平缓。
• 在密集射线回归中，Polar IoU Loss 优于 Smooth L1，在消融实验中将 AP 提升约 2.6 点。
• Polar Centerness 提供显著提升，特别是在 IoU 75 的 AP 和大尺寸实例的 AP_L。
• 以质心作为中心采样比以框中心更有效；引入框分支对掩模性能贡献不大。
• 在骨干网络如 ResNeXt-101-FPN-DCN 的最佳报道配置下，达到高达 36.2 AP（24 轮训练），并在 COCO test-dev 上达到高达 59.4 AP50，同时维持比张量方法更快的推理。