[论文解读] RepPoints: Point Set Representation for Object Detection

Ze Yang, Shaohui Liu+3 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Neural Network Applications参考文献 55被引用 146

一句话总结

RepPoints 引入了一组可学习的代表性样本点来建模对象，从而实现无锚点检测器（RPDet），在 COCO 上达到或超过基于锚点的方法，并具备强大的多尺度表现。

ABSTRACT

Modern object detectors rely heavily on rectangular bounding boxes, such as anchors, proposals and the final predictions, to represent objects at various recognition stages. The bounding box is convenient to use but provides only a coarse localization of objects and leads to a correspondingly coarse extraction of object features. In this paper, we present extbf{RepPoints} (representative points), a new finer representation of objects as a set of sample points useful for both localization and recognition. Given ground truth localization and recognition targets for training, RepPoints learn to automatically arrange themselves in a manner that bounds the spatial extent of an object and indicates semantically significant local areas. They furthermore do not require the use of anchors to sample a space of bounding boxes. We show that an anchor-free object detector based on RepPoints can be as effective as the state-of-the-art anchor-based detection methods, with 46.5 AP and 67.4 $AP_{50}$ on the COCO test-dev detection benchmark, using ResNet-101 model. Code is available at https://github.com/microsoft/RepPoints.

研究动机与目标

• 激发对比矩形边界框更精细的对象定位的需求。
• 提出 RepPoints 作为一组可学习的样本点，用以界定对象并突出语义上重要的区域。
• 开发一个无锚点检测器（RPDet），使用 RepPoints 进行初始化、细化和最终定位。
• 证明 RepPoints 在 COCO 上在有无多尺度训练/测试时都能匹配甚至超过基于锚点的检测器。

提出的方法

• 将对象表示为一个可微分的 n 个样本点集合 RepPoints，而不是一个 4 维边界框。
• 通过预测的偏移在各阶段对 RepPoints 进行细化，以收紧对象定位。
• 通过可微变换将 RepPoints 转换为伪边界框，以便监督和评估。
• 以定位损失（伪边界框到地面实况的距离）与来自下一检测阶段的识别损失的组合进行训练。
• 将 RepPoints 与可变形卷积结合，以实现对不规则点的采样。
• 使用无锚点的中心点初始化，逐步演化为 RepPoints 候选和最终目标。

实验结果

研究问题

• RQ1 RepPoints 在保持或提升识别性能的同时，是否能提供比边界框更精细的定位？
• RQ2 使用 RepPoints（RPDet）的无锚点检测器在 COCO 上是否具备与最先进的基于锚点的检测器的竞争力？
• RQ3 RepPoints 的学习监督（定位 + 识别）如何影响语义上有意义点的位置？
• RQ4 将 RepPoints 转换为伪边界框用于训练和评估的影响是什么？

主要发现

表示形式	主干网络	AP	AP_50	AP_75
边界框	ResNet-50	36.2	57.3	39.8
RepPoints (ours)	ResNet-50	38.3	60.0	41.1
边界框	ResNet-101	38.4	59.9	42.4
RepPoints (ours)	ResNet-101	40.4	62.0	43.6

• 使用 RPDet 的 RPPoints 在 COCO test-dev 上达到 42.8 AP，与 Cascade R-CNN 相当，并优于现有的无锚点检测器。
• 在多尺度训练和测试下，RPDet 在 COCO test-dev 上达到 46.5 AP 和 67.4 AP50，超越了之前的检测器。
• 用 RepPoints 替代边界框相比边界框基线（ResNet-50 时 36.2 AP → 38.3 AP）的改进。
• 中心点初始化（RepPoints 的一个特殊情况）提供比锚点更好的初始对象假设，提升了性能。
• RepPoints 学得的点集中在极端点或语义性的关键点上，使定位更精细且不需要额外监督。
• 对 RepPoints 候选使用可变形 RoI 池化带来额外收益，表明其与可变形采样的互补性。
• 从 RepPoints 到伪边界框的各种可微变换函数表现相当，使端到端训练成为可能。