[论文解读] RepPoints V2: Verification Meets Regression for Object Detection

Yihong Chen, Zheng Zhang+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 32被引用 70

一句话总结

RepPoints v2 将验证任务作为辅助分支集成到基于回归的检测器中，以提升定位与检测精度，在 COCO 上实现约 2.0 mAP 的增益，并在单模型下达到 COCO test-dev 52.1 mAP。

ABSTRACT

Verification and regression are two general methodologies for prediction in neural networks. Each has its own strengths: verification can be easier to infer accurately, and regression is more efficient and applicable to continuous target variables. Hence, it is often beneficial to carefully combine them to take advantage of their benefits. In this paper, we take this philosophy to improve state-of-the-art object detection, specifically by RepPoints. Though RepPoints provides high performance, we find that its heavy reliance on regression for object localization leaves room for improvement. We introduce verification tasks into the localization prediction of RepPoints, producing RepPoints v2, which provides consistent improvements of about 2.0 mAP over the original RepPoints on the COCO object detection benchmark using different backbones and training methods. RepPoints v2 also achieves 52.1 mAP on COCO exttt{test-dev} by a single model. Moreover, we show that the proposed approach can more generally elevate other object detection frameworks as well as applications such as instance segmentation. The code is available at https://github.com/Scalsol/RepPointsV2.

研究动机与目标

• 探索在不干扰检测器流程的前提下，验证是否能提升基于回归的目标检测器性能。
• 明确能够与回归定位互补的有效验证任务（例如角点验证、盒内前景）。
• 提出一种通用融合框架，将验证线索作为辅助分支整合。
• 在 COCO 上展示 RepPoints v2 在不同骨干网络与训练策略下的改进。
• 展示对其他检测器与任务（如实例分割）的普适性。

提出的方法

• 引入辅助验证分支（角点验证与盒内前景验证）作为主回归头的侧分支。
• 在 RepPoints 中使用 explicit-corners 变体，通过两个角点来定义边界框，以实现与验证线索的兼容融合。
• 通过 1x1 嵌入和逐元素相加将验证输出与主特征图融合，支持多任务学习与特征增强。
• 采用联合推理，在回归预测的基础上结合验证分数来进一步细化角点位置。
• 使用多任务损失 L = L_RepPoints + λ1 L_corner + λ2 L_foreground，其中 λ1=0.25，λ2=0.1。
• 将融合方法扩展到其他检测器如 FCOS 以及实例分割（Dense RepPoints），以证明其泛化性。

实验结果

研究问题

• RQ1 验证任务能否在不打断中间表示的前提下，与基于回归的检测器有效整合？
• RQ2 哪种形式的验证（基于角点、盒内前景）最能提升定位和检测性能？
• RQ3 融合方式（多任务学习、特征增强、联合推理）对总体增益有何贡献？
• RQ4 RepPoints v2 是否可移植到其他检测器与实例分割等任务？

主要发现

• RepPoints v2 在 COCO 上使用不同的骨干网络和训练方法，相较原版 RepPoints 取得约 2.0 mAP 的提升。
• RepPoints v2 使用单个 ResNeXt-101-DCN 模型（并进行多尺度测试）在 COCO test-dev 取得 52.1 mAP。
• 仅角点验证即可提供 ≈1.4 mAP 的增益，主要提升较高 IoU（AP90），AP50 变化不大；前景验证贡献 ≈0.5 mAP，主要在较低 IoU（AP50）。
• 完整的 RepPoints v2 融合（多任务、特征增强和联合推理）在基线无验证模块的情况下总体提升约 1.9 mAP。
• 将该方法应用于 FCOS 时，在 COCO test-dev 上使用 ResNet-50 获得 1.3 mAP 的增益；带验证的 Dense RepPoints 提升 COCO test-dev 的 Dense 掩模 AP 1.3。