[论文解读] SOLOv2: Dynamic, Faster and Stronger.

Xinlong Wang, Rufeng Zhang+3 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Neural Network Applications被引用 88

一句话总结

SOLOv2 通过将掩码头解耦为可学习卷积核分支和特征分支，提出了一种动态、快速且准确的实例分割框架，实现了基于位置的掩码预测。它引入了 Matrix NMS，实现一次完成、并行的非极大值抑制，推理速度达到 31.3 FPS，COCO 上的 AP 达到 37.1%，在速度-精度权衡上优于先前方法。

ABSTRACT

In this work, we aim at building a simple, direct, and fast instance segmentation framework with strong performance. We follow the principle of the SOLO method of Wang et al. SOLO: segmenting objects by locations. Importantly, we take one step further by dynamically learning the mask head of the object segmenter such that the mask head is conditioned on the location. Specifically, the mask branch is decoupled into a mask kernel branch and mask feature branch, which are responsible for learning the convolution kernel and the convolved features respectively. Moreover, we propose Matrix NMS (non maximum suppression) to significantly reduce the inference time overhead due to NMS of masks. Our Matrix NMS performs NMS with parallel matrix operations in one shot, and yields better results. We demonstrate a simple direct instance segmentation system, outperforming a few state-of-the-art methods in both speed and accuracy. A light-weight version of SOLOv2 executes at 31.3 FPS and yields 37.1% AP. Moreover, our state-of-the-art results in object detection (from our mask byproduct) and panoptic segmentation show the potential to serve as a new strong baseline for many instance-level recognition tasks besides instance segmentation. Code is available at: this https URL

研究动机与目标

• 开发一种简单、直接且性能强大的实例分割框架。
• 通过基于对象位置动态调节掩码头，提升掩码预测性能。
• 减少掩码预测中非极大值抑制（NMS）带来的推理时间开销。
• 为实例级识别任务（包括检测和全景分割）建立新的强基线。

提出的方法

• 将掩码头分解为掩码卷积核分支和掩码特征分支，实现对位置敏感的掩码预测。
• 分别学习卷积核和特征图，实现基于对象位置的动态自适应。
• 提出 Matrix NMS，一种基于一次完成、并行矩阵运算的 NMS 方法，以加速推理。
• 将相同架构应用于目标检测和全景分割作为副产品，共享特征表示。
• 采用简单、端到端的训练范式，无需复杂的头部设计或后处理。

实验结果

研究问题

• RQ1 能否通过一种简单、直接的实例分割框架，在速度和精度上均达到最先进性能？
• RQ2 如何通过动态头部学习使掩码预测更适应对象位置？
• RQ3 能否在不牺牲检测质量的前提下，显著减少 NMS 的推理时间开销？
• RQ4 该架构能否作为多种实例级识别任务的强基线？

主要发现

• SOLOv2 在 COCO 实例分割任务上达到 37.1% 的 AP，轻量化版本推理速度达 31.3 FPS。
• Matrix NMS 通过一次完成、并行的矩阵运算显著减少了 NMS 的推理时间开销。
• 解耦掩码头设计通过实现基于位置的预测，提升了掩码质量。
• 该方法使用相同架构在目标检测和全景分割任务上均实现了最先进性能。