[论文解读] PolyTransform: Deep Polygon Transformer for Instance Segmentation

Justin Liang, Namdar Homayounfar+4 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Neural Network Applications参考文献 64被引用 13

一句话总结

PolyTransform 是一种新颖的实例分割框架，通过将初始分割掩码转换为多边形并利用可微分形变网络进行优化，从而提升掩码精度。它在 Cityscapes 数据集上取得最先进性能（测试排行榜第1名，较最先进方法提升+3.7 AP），并在交互式设置中将标注时间减少35%。

ABSTRACT

In this paper, we propose PolyTransform, a novel instance segmentation algorithm that produces precise, geometry-preserving masks by combining the strengths of prevailing segmentation approaches and modern polygon-based methods. In particular, we first exploit a segmentation network to generate instance masks. We then convert the masks into a set of polygons that are then fed to a deforming network that transforms the polygons such that they better fit the object boundaries. Our experiments on the challenging Cityscapes dataset show that our PolyTransform significantly improves the performance of the backbone instance segmentation network and ranks 1st on the Cityscapes test-set leaderboard. We also show impressive gains in the interactive annotation setting. We release the code at https://github.com/uber-research/PolyTransform.

研究动机与目标

• 通过保留细粒度几何细节，解决基于深度学习的实例分割中掩码过度平滑的问题。
• 通过支持自适应多边形形变，克服固定多边形方法在处理遮挡和不连续物体部分时的刚性限制。
• 通过生成仅需最少人工修正的高精度初始多边形，提升交互式标注效率。
• 在多种主干网络和初始化方法下保持一致的性能增益，实现良好泛化能力。
• 支持实时推理，适用于机器人和自动驾驶系统中的实际部署。

提出的方法

• 首先，使用分割主干网络（如 DeepLabV3+）从输入图像生成初始实例掩码。
• 将每个预测掩码通过轮廓提取转换为一组多边形，形成几何初始化。
• 可学习的形变网络为每个多边形预测顶点级位移，通过注意力机制或图注意力机制建模顶点间依赖关系。
• 形变过程是可微分的，支持端到端训练，以优化多边形与物体边界的对齐效果。
• 最终优化后的多边形既用于分割预测，也用于交互式标注，其顶点可由用户直接编辑。
• 该方法支持每个物体的多边形数量可变，能够自然处理遮挡或碎片化的实例。

实验结果

研究问题

• RQ1 与标准掩码头相比，基于多边形的优化是否能显著提升实例分割中的掩码精度和边界准确性？
• RQ2 可微分多边形形变模块在不同分割主干网络和初始化质量水平下，其泛化能力如何？
• RQ3 在标注速度和准确性方面，该方法与最先进交互式标注系统相比表现如何？
• RQ4 在复杂遮挡和模糊物体边界条件下，模型是否仍能保持高性能？
• RQ5 该系统在真实标注流程中的推理速度和实际可用性如何？

主要发现

• PolyTransform 在 Cityscapes 测试集排行榜上位列第1，较之前最先进方法提升3.7 AP，边界指标提升10.3分。
• 在 Cityscapes 验证集上，其将主干模型性能提升3.0 AP，边界指标提升10.3分。
• 在新的自动驾驶数据集上，其将初始化质量提升2.1 AP，边界指标提升5.6分。
• 在交互式标注中，PolyTransform 在1px阈值下的边界F1分数较之前最先进方法（Curve GCN）提升2.0%。
• 使用 PolyTransform 输出进行众包标注，相比基线方法将标注时间减少35%。
• 模型单实例推理速度为21ms，较 Polygon-RNN++ 快14倍，较 Curve GCN 快1.4倍，支持实时部署。