[论文解读] R3Det: Refined Single-Stage Detector with Feature Refinement for Rotating Object

Xue Yang, Junchi Yan+2 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 71被引用 160

一句话总结

R3Det 提出了一种经改进的单阶段旋转目标检测器，具备特征细化模块与近似 SkewIoU 损失，在航拍/文本/遥感数据集上实现高精度的旋转估计与高速性能。

ABSTRACT

Rotation detection is a challenging task due to the difficulties of locating the multi-angle objects and separating them effectively from the background. Though considerable progress has been made, for practical settings, there still exist challenges for rotating objects with large aspect ratio, dense distribution and category extremely imbalance. In this paper, we propose an end-to-end refined single-stage rotation detector for fast and accurate object detection by using a progressive regression approach from coarse to fine granularity. Considering the shortcoming of feature misalignment in existing refined single-stage detector, we design a feature refinement module to improve detection performance by getting more accurate features. The key idea of feature refinement module is to re-encode the position information of the current refined bounding box to the corresponding feature points through pixel-wise feature interpolation to realize feature reconstruction and alignment. For more accurate rotation estimation, an approximate SkewIoU loss is proposed to solve the problem that the calculation of SkewIoU is not derivable. Experiments on three popular remote sensing public datasets DOTA, HRSC2016, UCAS-AOD as well as one scene text dataset ICDAR2015 show the effectiveness of our approach. Tensorflow and Pytorch version codes are available at https://github.com/Thinklab-SJTU/R3Det_Tensorflow and https://github.com/SJTU-Thinklab-Det/r3det-on-mmdetection, and R3Det is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

研究动机与目标

• 推动对具有大纵横比、密集分布且方向任意的目标进行高精度旋转检测。
• 开发一个端到端的经改进的单阶段检测器，在提高精度的同时保持高速。
• 通过专用的特征细化模块（FRM）解决细化过程中的特征对齐问题。
• 引入一个可微的近似 SkewIoU 损失以改进旋转估计。
• 在多个公开旋转数据集上展示与最先进方法相媲美的性能，而不需要复杂的多阶段骨干网络。

提出的方法

• 采用逐步粗到细回归策略，在早期阶段以水平锚框为起点，在后期阶段用旋转锚框进行细化。
• 引入特征细化模块（FRM），通过像素级双线性插值将细化的边框位置重新编码为特征点，以重建并对齐特征图。
• 使用一个多任务损失，结合可导回归项与近似 SkewIoU 损失，以更好地使梯度与旋转 IoU 对齐。
• 实现边框过滤（BF）和大核（LK）特征细化步骤，以高效地为细化后的框重建特征。
• 应用多阶段细化阶段，并设定分阶段的 IoU 阈值，在保持速度的同时逐步提升定位性能。

实验结果

研究问题

• RQ1 如何在不牺牲速度的前提下，使单阶段检测器对任意旋转的目标保持高精度？
• RQ2 重建对齐特征的特征细化模块是否能提升旋转目标的检测性能？
• RQ3 一个可微的近似 SkewIoU 损失是否能在旋转检测中提供比标准损失更好的旋转回归？
• RQ4 在密集且大纵横比目标检测中，逐步粗到细回归与旋转锚框的影响如何？
• RQ5 在旋转检测中，多少个细化阶段在收益递减之前是有益的？

主要发现

• 提出的以 FRM 为驱动的特征重建可带来可测量的增益，mAP 根据配置提升约 0.8–2.8 点。
• 使用 FRM 的特征细化带来显著增益，消融研究显示在使用 FRM 时 DOTA 的提升最高可达 2.79%。
• 多阶段的逐步粗到细细化策略带来显著增益，但三次或更多的细化并不总是超过集成增益的总体提升。
• 近似 SkewIoU 损失函数，特别是基于指数的变体，提升了训练稳定性和最终旋转精度，在所报告的实验中超过 PIoU 基线。
• 在 DOTA 数据集上，R3Det 家族在单阶段方法中达到与最先进方法竞争的水平，并且在无需多尺度训练/测试的情况下显示出强劲性能，报告的 mAP 值超过先前的单阶段基线。
• 在 HRSC2016、UCAS-AOD 和 ICDAR2015 数据集上，R3Det 与 FRM 相对于使用水平锚框或旋转锚框的基线，检测精度持续提升。