[论文解读] Oriented R-CNN for Object Detection

Xingxing Xie, Gong Cheng+3 more|arXiv (Cornell University)|Aug 12, 2021

Advanced Neural Network Applications参考文献 43被引用 4

一句话总结

该论文提出Oriented R-CNN，一种两阶段目标检测框架，采用轻量级定向区域建议网络（定向RPN）以极低的计算成本生成高质量的定向建议。通过引入一种中点偏移表示法，将标准RPN回归扩展为六个参数，该方法在单张RTX 2080Ti上实现了15.1 FPS的推理速度，在DOTA数据集上达到75.87%的mAP，在HRSC2016数据集上达到96.50%的mAP，性能在准确率与效率之间达到最优平衡，优于现有的单阶段与两阶段检测器。

ABSTRACT

Current state-of-the-art two-stage detectors generate oriented proposals through time-consuming schemes. This diminishes the detectors' speed, thereby becoming the computational bottleneck in advanced oriented object detection systems. This work proposes an effective and simple oriented object detection framework, termed Oriented R-CNN, which is a general two-stage oriented detector with promising accuracy and efficiency. To be specific, in the first stage, we propose an oriented Region Proposal Network (oriented RPN) that directly generates high-quality oriented proposals in a nearly cost-free manner. The second stage is oriented R-CNN head for refining oriented Regions of Interest (oriented RoIs) and recognizing them. Without tricks, oriented R-CNN with ResNet50 achieves state-of-the-art detection accuracy on two commonly-used datasets for oriented object detection including DOTA (75.87% mAP) and HRSC2016 (96.50% mAP), while having a speed of 15.1 FPS with the image size of 1024$ imes$1024 on a single RTX 2080Ti. We hope our work could inspire rethinking the design of oriented detectors and serve as a baseline for oriented object detection. Code is available at https://github.com/jbwang1997/OBBDetection.

研究动机与目标

• 解决现有最先进两阶段定向目标检测器中因昂贵的定向建议生成而产生的计算瓶颈。
• 设计一种简单、高效且准确的两阶段任意方向目标检测框架。
• 在保持高召回率与定位准确率的同时，减少建议生成的参数量与推理成本。
• 建立一个在准确率与速度之间实现平衡的定向目标检测新基线。
• 通过一种新颖的表示方法，启发对定向检测器设计与回归方案的重新思考。

提出的方法

• 提出一种轻量级定向RPN，通过将标准RPN的回归输出从四个参数扩展为六个参数，以预测定向边界框。
• 引入中点偏移表示法，使用六个参数（中点坐标、宽度、高度与角度）编码定向目标，实现有界且稳定的回归。
• 在第二阶段使用旋转RoI对齐，从定向建议中提取特征并执行分类与回归。
• 采用全卷积架构实现定向RPN，最大限度减少参数量并降低过拟合风险。
• 采用ResNet-50-FPN作为主干网络，并通过多尺度训练与测试提升性能。
• 在推理时每张图像选择前1000个建议，以在速度与准确率之间取得平衡。

实验结果

研究问题

• RQ1 能否设计一种简单且轻量级的定向RPN，在不带来显著计算开销的前提下生成高质量的定向建议？
• RQ2 与基于锚点或Transformer的方法相比，中点偏移表示法如何提升定向目标回归的稳定性和效率？
• RQ3 两阶段检测器是否能在保持与单阶段检测器相当的推理速度的同时，实现最先进准确率？
• RQ4 建议质量（如前N名的召回率）对定向目标检测中最终mAP的影响如何？
• RQ5 在标准基准上，所提框架与现有单阶段及两阶段定向检测器相比，在准确率与速度方面表现如何？

主要发现

• Oriented R-CNN在DOTA数据集上使用ResNet-50-FPN实现75.87%的mAP，超越所有现有最先进方法，包括使用更深主干网络的方法。
• 在HRSC2016数据集上，该方法使用ResNet-50-FPN实现96.50%的mAP，创下新的最先进准确率记录。
• 通过多尺度训练与测试，相同ResNet-50-FPN主干网络下，DOTA数据集的mAP提升至80.87%。
• 在单张RTX 2080Ti上，输入分辨率为1024×1024时，模型推理速度达15.1 FPS，展现出高效率。
• 定向RPN在2000个建议下达到92.80%的召回率，减少至1000个建议时仅下降0.6%，表明建议质量优异。
• 定向RPN的参数量仅约为RoI Transformer+的1/3000，以及旋转RPN的1/15，显著降低了模型复杂度。