[论文解读] R2CNN++: Multi-Dimensional Attention Based Rotation Invariant Detector with Robust Anchor Strategy.

Xue Yang, Kun Fu+6 more|arXiv (Cornell University)|Nov 17, 2018

Advanced Image and Video Retrieval Techniques参考文献 27被引用 39

一句话总结

该论文提出R2CNN++，一种用于航空图像的旋转不变目标检测模型，通过引入多维注意力机制和稳健的锚点策略，提升了对小尺寸、任意方向及密集排列目标的检测性能。通过融合Inception结构进行特征增强，并结合像素注意力与通道注意力以抑制噪声，该方法在DOTA和NWPU VHR-10基准测试中达到最先进性能。

ABSTRACT

Object detection plays a vital role in natural scene and aerial scene and is full of challenges. Although many advanced algorithms have succeeded in the natural scene, the progress in the aerial scene has been slow due to the complexity of the aerial image and the large degree of freedom of remote sensing objects in scale, orientation, and density. In this paper, a novel multi-category rotation detector is proposed, which can efficiently detect small objects, arbitrary direction objects, and dense objects in complex remote sensing images. Specifically, the proposed model adopts a targeted feature fusion strategy called inception fusion network, which fully considers factors such as feature fusion, anchor sampling, and receptive field to improve the ability to handle small objects. Then we combine the pixel attention network and the channel attention network to weaken the noise information and highlight the objects feature. Finally, the rotational object detection algorithm is realized by redefining the rotating bounding box. Experiments on public datasets including DOTA, NWPU VHR-10 demonstrate that the proposed algorithm significantly outperforms state-of-the-art methods. The code and models will be available at https://github.com/DetectionTeamUCAS/R2CNN-Plus-Plus_Tensorflow.

研究动机与目标

• 解决在复杂遥感图像中检测小尺寸、有方向性及密集排列目标的挑战。
• 通过考虑感受野与锚点采样策略，设计针对性的特征融合方法，提升航空场景中的特征表示能力。
• 通过集成像素注意力与通道注意力机制，抑制噪声并突出目标特征，增强检测鲁棒性。
• 通过重新定义旋转边界框，构建感知旋转的检测框架，实现对任意方向目标的预测。
• 在现有最先进方法对比下，在公开航空检测基准上实现更优性能。

提出的方法

• 提出一种Inception融合网络，通过平衡感受野扩展、锚点采样与特征表示，优化特征融合过程。
• 采用结合像素注意力与通道注意力的双重注意力机制，抑制无关特征并突出显著目标区域。
• 通过使用旋转边界框重新定义边界框表示方式，实现对任意方向目标的检测。
• 设计一种专为航空图像定制的稳健锚点策略，考虑尺度、方向与密度变化。
• 采用两阶段检测器架构，结合特征提取、注意力优化与旋转感知头，实现精确定位。
• 通过多尺度特征与注意力引导的监督策略，实现端到端训练，提升泛化能力。

实验结果

研究问题

• RQ1 如何优化特征融合以提升航空图像中小尺寸与密集目标的检测性能？
• RQ2 多维注意力机制在抑制噪声并突出目标特征方面，能在多大程度上改善特征表示？
• RQ3 稳健锚点策略是否能显著提升在尺度与方向变化较大的遥感图像中的检测性能？
• RQ4 旋转边界框的集成对航空场景中任意方向目标检测精度有何影响？
• RQ5 所提出的R2CNN++模型是否在DOTA与NWPU VHR-10等标准航空检测基准上达到最先进性能？

主要发现

• R2CNN++在DOTA数据集上表现优异，平均精度均值超越现有最先进方法。
• 在NWPU VHR-10数据集上，该模型在检测小尺寸与密集排列目标方面相比先前方法有显著提升。
• 消融实验验证了Inception融合网络与多维注意力机制对性能提升的显著贡献。
• 所提出的稳健锚点策略显著提升了检测精度，尤其在高密度与尺度变化显著的场景中。
• 旋转边界框的集成有效实现了对任意方向目标的定位，提升了在多样化航空场景中的检测一致性。
• 模型在不同遥感图像领域展现出强大的泛化能力，经多个基准数据集验证。