[论文解读] Towards Multi-class Object Detection in Unconstrained Remote Sensing Imagery

Seyed Majid Azimi, Eleonora Vig+3 more|arXiv (Cornell University)|Jul 7, 2018

Advanced Neural Network Applications参考文献 26被引用 5

一句话总结

该论文提出了一种新颖的端到端深度学习框架，用于在非受限遥感图像中进行多类别目标检测，采用联合图像级联与特征金字塔网络，结合多尺寸卷积核、旋转感知区域建议网络（R-RPN）和ROI网络，并提出一种新型几何损失函数以强制实现矩形方向边界框。该方法在DOTA数据集上实现了水平边界框检测的68.16% mAP和方向边界框检测的72.45% mAP，显著优于所有先前方法。

ABSTRACT

Automatic multi-class object detection in remote sensing images in unconstrained scenarios is of high interest for several applications including traffic monitoring and disaster management. The huge variation in object scale, orientation, category, and complex backgrounds, as well as the different camera sensors pose great challenges for current algorithms. In this work, we propose a new method consisting of a novel joint image cascade and feature pyramid network with multi-size convolution kernels to extract multi-scale strong and weak semantic features. These features are fed into rotation-based region proposal and region of interest networks to produce object detections. Finally, rotational non-maximum suppression is applied to remove redundant detections. During training, we minimize joint horizontal and oriented bounding box loss functions, as well as a novel loss that enforces oriented boxes to be rectangular. Our method achieves 68.16% mAP on horizontal and 72.45% mAP on oriented bounding box detection tasks on the challenging DOTA dataset, outperforming all published methods by a large margin (+6% and +12% absolute improvement, respectively). Furthermore, it generalizes to two other datasets, NWPU VHR-10 and UCAS-AOD, and achieves competitive results with the baselines even when trained on DOTA. Our method can be deployed in multi-class object detection applications, regardless of the image and object scales and orientations, making it a great choice for unconstrained aerial and satellite imagery.

研究动机与目标

• 为解决非受限遥感图像中多类别目标检测的挑战，包括极端尺度与方向变化、复杂背景以及多样化的传感器模态。
• 提升在航拍与卫星图像中任意方向目标的检测精度，特别是在停车场等密集场景中。
• 开发一种鲁棒且可泛化的模型，能够在空间分辨率和目标特性各异的数据集中表现良好。
• 提出一种新型几何损失函数，强制方向边界框保持矩形，从而提升定位一致性。

提出的方法

• 采用联合图像级联网络（ICN）与特征金字塔网络（FPN），从原始图像及其下采样版本中提取多尺度特征，增强跨尺度的特征表示能力。
• 引入可变形Inception网络（DIN），以自适应地捕捉多尺度与多感受野特征，提升复杂场景中的特征学习能力。
• 采用基于旋转的区域建议网络（R-RPN）和感兴趣区域网络（R-ROI），生成并优化方向边界框，实现对任意方向目标的精确定位。
• 提出一种新型几何损失函数，在训练过程中通过惩罚非矩形四边形来强制方向边界框保持矩形。
• 应用旋转非极大值抑制（R-NMS），在保留方向框预测的同时抑制冗余检测。
• 模型通过联合损失函数进行训练，该损失函数结合了水平与方向边界框回归损失，以及所提出的几何正则化损失。

实验结果

研究问题

• RQ1 联合图像级联与特征金字塔架构是否能提升遥感目标检测中的多尺度特征学习？
• RQ2 在航拍图像中，引入旋转感知的区域建议与ROI网络对任意方向目标检测精度有何影响？
• RQ3 在方向边界框中强制实现矩形性在多大程度上能提升定位性能与泛化能力？
• RQ4 仅在DOTA数据集上训练的模型是否能有效泛化到其他遥感数据集（如NWPU VHR-10和UCAS-AOD）？
• RQ5 所提出的几何损失函数对减少方向目标检测中的定位误差与误报率有何影响？

主要发现

• 所提方法在DOTA数据集上的水平边界框检测任务中达到68.16% mAP，在方向边界框检测任务中达到72.45% mAP，分别较之前最先进方法绝对提升+6%和+12%。
• 模型在其他数据集上泛化能力良好：在NWPU VHR-10数据集上微调后达到95.01% mAP，在UCAS-AOD数据集上达到95.67% mAP，即使在仅用DOTA预训练的情况下亦表现优异。
• 当仅在DOTA数据集上训练时，模型在NWPU VHR-10上仍达到82.23% mAP，在UCAS-AOD上达到86.13% mAP，展现出强大的零样本泛化能力。
• 误报率较低，大多数混淆发生在背景与长条形物体（如桥梁、港口）之间，以及小尺寸与大尺寸车辆之间，表明在区分相似尺寸或细长物体方面仍具挑战。
• 所提出的几何损失函数有效减少了非矩形预测，提升了定位精度，尤其在密集或细长物体上表现更优。
• 模型对地面采样距离（GSD）的变化具有鲁棒性，在具有不同空间分辨率的机载与星载图像中均表现良好。