[论文解读] PolarMask++: Enhanced Polar Representation for Single-Shot Instance Segmentation and Beyond

Enze Xie, Wenhai Wang+3 more|arXiv (Cornell University)|May 5, 2021

Advanced Neural Network Applications参考文献 67被引用 9

一句话总结

PolarMask++ 提出了一种新颖的无锚点、单阶段实例分割框架，通过极坐标表示物体掩码——即中心点和径向距离——统一了实例分割与旋转目标检测。通过引入软极坐标中心度与极坐标 IoU 损失，其在 COCO、文本检测和细胞分割任务上均实现了最先进性能，计算开销极低，并具备实时推理能力。

ABSTRACT

Reducing the complexity of the pipeline of instance segmentation is crucial for real-world applications. This work addresses this issue by introducing an anchor-box free and single-shot instance segmentation framework, termed PolarMask, which reformulates the instance segmentation problem as predicting the contours of objects in the polar coordinate, with several appealing benefits. (1) The polar representation unifies instance segmentation (masks) and object detection (bounding boxes) into a single framework, reducing the design and computational complexity. (2) Two modules are carefully designed (i.e. soft polar centerness and polar IoU loss) to sample high-quality center examples and optimize polar contour regression, making the performance of PolarMask does not depend on the bounding box prediction results and thus becomes more efficient in training. (3) PolarMask is fully convolutional and can be easily embedded into most off-the-shelf detection methods. To further improve the accuracy of the framework, a Refined Feature Pyramid is introduced to further improve the feature representation at different scales, termed PolarMask++. Extensive experiments demonstrate the effectiveness of both PolarMask and PolarMask++, which achieve competitive results on instance segmentation in the challenging COCO dataset with single-model and single-scale training and testing, as well as new state-of-the-art results on rotate text detection and cell segmentation. We hope the proposed polar representation can provide a new perspective for designing algorithms to solve single-shot instance segmentation. The codes and models are available at: github.com/xieenze/PolarMask.

研究动机与目标

• 通过消除对锚框的需求以及两阶段检测，简化实例分割流程。
• 通过极坐标表示，将实例分割与旋转目标检测统一为一个端到端的框架。
• 通过轻量级后处理优化模块，提升不规则形状物体的掩码精度。
• 通过最小化计算开销，在保持标准基准测试高精度的前提下，实现实时推理。

提出的方法

• 将物体掩码表示为极坐标中的轮廓，由中心点和多个角度间隔的射线长度定义。
• 引入软极坐标中心度，以无需依赖边界框预测的方式采样高质量中心点。
• 提出极坐标 IoU 损失，直接优化轮廓回归，提升泛化能力并降低对边界框头的依赖。
• 采用改进的特征金字塔网络（RFPN），增强不同物体尺寸下的多尺度特征表示。
• 应用轻量级后处理全卷积网络（FCN），对粗糙的极坐标掩码进行优化，尤其有利于不规则形状。
• 采用全卷积架构，可轻松集成至现有单阶段检测器中，无需架构大规模重构。

实验结果

研究问题

• RQ1 与基于边界框的方法相比，极坐标表示是否能更有效地统一实例分割与旋转目标检测？
• RQ2 在密集或旋转物体场景下，极坐标表示相较于传统基于笛卡尔坐标的掩码预测，性能提升如何？
• RQ3 软极坐标中心度与极坐标 IoU 损失在多大程度上可减少对边界框预测的依赖，并提升训练效率？
• RQ4 通过轻量级 FCN 进行掩码优化，是否能显著提升不规则形状物体的分割精度，同时不牺牲速度？
• RQ5 所提出的框架是否能在 COCO 以及文本和细胞分割等专用基准上，实现单模型、单尺度推理的最先进性能？

主要发现

• PolarMask++ 在 COCO 实例分割任务上实现 34.1 mAP（单模型、单尺度推理），较基线模型提升 3.9 个百分点。
• 掩码优化 FCN 将 mAP 从 30.2 提升至 34.1，其中在不规则形状物体（如人像：37.8 → 43.2 AP）上增益最大。
• 对于规则形状物体（如球、杯子、钟表），掩码优化导致性能轻微下降或可忽略，证实了极坐标表示对对称形状的强适应性。
• 每张物体的推理时间仅增加 1.5ms，使其在实时应用中具备实用性。
• 使用 ResNeXt-101 作为骨干网络，mAP 相较于 ResNet-50 提升 2.3%，证明了更深、更强骨干网络的优势。
• 在单张 V100 GPU 上，480×480 输入分辨率下，PolarMask++ 实现 47.9 FPS，展现出强大的实时部署潜力。