[论文解读] Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors

Jingru Yi, Pengxiang Wu+4 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Neural Network Applications参考文献 27被引用 8

一句话总结

该论文提出了一种单阶段、无锚点的定向目标检测方法，通过边界感知框向量（BBAVectors）表示航拍图像中的定向边界框。该方法不采用在旋转坐标系中回归宽度、高度和角度的方式，而是检测目标中心点，并在固定笛卡尔坐标系中回归四个向量（上、右、下、左），从而提升了精度和鲁棒性，尤其是在极端情况下的表现——在HRSC2016数据集上达到88.6%的mAP，优于当前最先进方法。

ABSTRACT

Oriented object detection in aerial images is a challenging task as the objects in aerial images are displayed in arbitrary directions and are usually densely packed. Current oriented object detection methods mainly rely on two-stage anchor-based detectors. However, the anchor-based detectors typically suffer from a severe imbalance issue between the positive and negative anchor boxes. To address this issue, in this work we extend the horizontal keypoint-based object detector to the oriented object detection task. In particular, we first detect the center keypoints of the objects, based on which we then regress the box boundary-aware vectors (BBAVectors) to capture the oriented bounding boxes. The box boundary-aware vectors are distributed in the four quadrants of a Cartesian coordinate system for all arbitrarily oriented objects. To relieve the difficulty of learning the vectors in the corner cases, we further classify the oriented bounding boxes into horizontal and rotational bounding boxes. In the experiment, we show that learning the box boundary-aware vectors is superior to directly predicting the width, height, and angle of an oriented bounding box, as adopted in the baseline method. Besides, the proposed method competes favorably with state-of-the-art methods. Code is available at https://github.com/yijingru/BBAVectors-Oriented-Object-Detection.

研究动机与目标

• 为解决航拍图像中目标密集且任意定向所带来的定向目标检测挑战。
• 克服基于锚点检测器的局限性，尤其是严重的正负样本不平衡和计算开销问题。
• 通过避免耗时的分组操作，改进关键点方法，实现实时、更精确的检测。
• 设计一种对旋转不变、且比直接学习宽度、高度和角度更易训练的定向边界框表示方法。
• 处理定向框与坐标轴几乎对齐的极端情况，此时向量分类变得模糊。

提出的方法

• 该方法使用基于关键点的检测器检测目标中心关键点，作为预测定向边界框的基础。
• 提出框边界感知向量（BBAVectors）：四个向量（t, r, b, l）表示中心点到上、右、下、左边界在固定笛卡尔坐标系中的距离。
• BBAVectors以单阶段、无锚点方式学习，无需区域建议网络或锚点生成。
• 为处理向量接近x轴和y轴的极端情况，将框分类为水平框（HBB）和旋转框（RBB）类型，并使用独立的回归头以提升泛化能力。
• 模型采用ResNet101主干网络，并使用标准检测头进行训练，损失函数针对中心关键点和向量回归进行了优化。
• 该方法在DOTA和HRSC2016数据集上进行评估，与基线Center+wh+θ及当前最先进方法进行对比。

实验结果

研究问题

• RQ1 使用BBAVectors的单阶段、无锚点检测器是否能在定向航拍目标检测中超越传统基于锚点和关键点的方法？
• RQ2 在固定笛卡尔坐标系中学习框边界感知向量，是否相比在旋转坐标系中学习宽度、高度和角度，能提升泛化能力并降低回归难度？
• RQ3 所提出的定向分类方法（HBB与RBB）在接近坐标轴的极端情况中，是否能有效缓解性能下降问题？
• RQ4 与两阶段或复杂基于锚点的检测器相比，BBAVectors对推理速度和模型效率有何影响？
• RQ5 BBAVector表示在DOTA和HRSC2016等基准数据集上，对mAP的提升程度如何？

主要发现

• 所提出的BBAVectors+rh方法在HRSC2016数据集上达到88.6%的mAP，比基线Center+wh+θ方法高出4.82个百分点。
• 在DOTA数据集上，BBAVectors+rh达到71.61%的mAP，较基线Center+wh+θ提升2.74个百分点。
• BBAVectors+rh在HRSC2016上比BBAVectors+r提升0.4%，在DOTA上提升0.71%，证明了对HBB/RBB类型进行独立处理在极端情况下的有效性。
• 模型在单张NVIDIA TITAN X GPU上推理速度达12.88 FPS，是ROI Transformer的2.18倍，表明其具有极高的推理效率。
• 该方法在HRSC2016和DOTA上均达到最先进性能，mAP超越R2PN、RRD和ROI Transformer，同时保持高速度。
• 消融实验表明，BBAVectors在坐标轴附近区域（方向模糊性高）比直接回归w、h和θ更具鲁棒性。