[论文解读] Oriented RepPoints for Aerial Object Detection

Wentong Li, Yijie Chen+2 more|arXiv (Cornell University)|May 24, 2021

Robotics and Sensor-Based Localization参考文献 48被引用 10

一句话总结

本文提出 Oriented RepPoints，一种无锚点的航空目标检测框架，通过自适应点更精确地建模任意方向的物体，优于传统的方向回归方法。通过引入定向转换函数、质量感知样本分配方案以及空间约束，其在 DOTA 数据集上实现了 77.63% 的最先进 mAP，且在方向估计上表现更优，检测与方向估计性能均超越基于回归的方法。

ABSTRACT

In contrast to the generic object, aerial targets are often non-axis aligned with arbitrary orientations having the cluttered surroundings. Unlike the mainstreamed approaches regressing the bounding box orientations, this paper proposes an effective adaptive points learning approach to aerial object detection by taking advantage of the adaptive points representation, which is able to capture the geometric information of the arbitrary-oriented instances. To this end, three oriented conversion functions are presented to facilitate the classification and localization with accurate orientation. Moreover, we propose an effective quality assessment and sample assignment scheme for adaptive points learning toward choosing the representative oriented reppoints samples during training, which is able to capture the non-axis aligned features from adjacent objects or background noises. A spatial constraint is introduced to penalize the outlier points for roust adaptive learning. Experimental results on four challenging aerial datasets including DOTA, HRSC2016, UCAS-AOD and DIOR-R, demonstrate the efficacy of our proposed approach. The source code is availabel at: https://github.com/LiWentomng/OrientedRepPoints.

研究动机与目标

• 解决航空目标检测中方向回归的局限性，特别是由于周期性角度损失导致的不连续性和不一致性问题。
• 提升在复杂背景中密集排列、非轴对齐的航空目标的检测精度。
• 开发一种鲁棒的基于点的表示方法，捕捉几何结构与方向信息，而无需依赖直接的角度回归。
• 设计一种质量评估与样本分配方案，以在训练过程中选择高质量的自适应点。
• 通过空间约束机制惩罚异常点，提升在杂乱场景中的特征学习能力。

提出的方法

• 使用从物体中心初始化的自适应点，并通过与 FPN 共享的头部进行多尺度特征学习，实现点的优化。
• 提出三种定向转换函数，从学习到的点集生成旋转框，实现精确的方向估计。
• 设计自适应点质量评估与分配（APAA）方案，基于分类、定位、方向以及点间特征相关性综合评估点的质量。
• 在训练过程中引入空间约束，惩罚位于真实定向边界框外部的点，提升对背景噪声和邻近物体的鲁棒性。
• 采用端到端方式训练模型，使用单阶段无锚点检测器架构，结合 ResNet-FPN 与 Focal Loss 实现密集预测。
• 借鉴 RepPoints 风格的头部结构，但扩展了方向感知组件与质量感知采样机制，以提升泛化能力。

实验结果

研究问题

• RQ1 自适应点表示能否在检测任意方向的航空目标方面超越直接的方向回归？
• RQ2 如何设计质量评估与样本分配机制，以选择最具代表性的点用于定向目标检测？
• RQ3 空间约束在多大程度上能提升自适应点学习在复杂航空场景中的鲁棒性？
• RQ4 与基于角度的回归相比，基于点的方法是否能显著降低方向估计误差？
• RQ5 所提出方法是否能在不同尺度、方向与场景复杂度的多样化航空数据集上实现良好泛化？

主要发现

• 在 DOTA 数据集上，Oriented RepPoints 使用 Swin-T-FPN 主干网络，mAP 达到 77.63%，优于所有使用相同主干网络的先前方法。
• 在 HRSC2016 上，其 mAP 达到 97.26%（VOC2012 评价标准），排名第一，显著优于 RetinaNet-O（95.21%）与 R3Det（96.01%）。
• 在 UCAS-AOD 上，其 mAP 达到 90.11%，为所有对比方法中的最佳结果，展现出在小尺寸及复杂包围物体上的强大性能。
• 在 DIOR-R 上，其 mAP 达到 66.71%，为所有方法中的最高值，表明其在 20 种多样化航空目标类别中具有优异的泛化能力。
• 在 DOTA 上，其平均平均方向误差（mAOE）最低，仅为 5.93°，证实其方向精度显著优于基于回归的基线方法。
• 消融实验表明，APAA 方案与空间约束显著提升了检测与方向估计的精度，尤其在密集与杂乱场景中表现突出。