[论文解读] On the Robustness of Object Detection Models on Aerial Images

Haodong He, Jian Ding+2 more|arXiv (Cornell University)|Aug 29, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出了两个用于评估航拍图像中目标检测模型鲁棒性的新型基准：一个包含19种常见损坏的基准，另一个则专门针对航拍图像中常见但自然图像中罕见的云层损坏。研究发现，更大的模型、改进的主干网络架构（如ConvNeXt-T、Swin-L）、旋转不变模块（RiRoI Align）以及策略性数据增强显著提升了模型的鲁棒性，尤其是在云层引起的损坏和分布外条件下。

ABSTRACT

The robustness of object detection models is a major concern when applied to real-world scenarios. The performance of most models tends to degrade when confronted with images affected by corruptions, since they are usually trained and evaluated on clean datasets. While numerous studies have explored the robustness of object detection models on natural images, there is a paucity of research focused on models applied to aerial images, which feature complex backgrounds, substantial variations in scales, and orientations of objects. This paper addresses the challenge of assessing the robustness of object detection models on aerial images, with a specific emphasis on scenarios where images are affected by clouds. In this study, we introduce two novel benchmarks based on DOTA-v1.0. The first benchmark encompasses 19 prevalent corruptions, while the second focuses on the cloud-corrupted condition-a phenomenon uncommon in natural images yet frequent in aerial photography. We systematically evaluate the robustness of mainstream object detection models and perform necessary ablation experiments. Through our investigations, we find that rotation-invariant modeling and enhanced backbone architectures can improve the robustness of models. Furthermore, increasing the capacity of Transformer-based backbones can strengthen their robustness. The benchmarks we propose and our comprehensive experimental analyses can facilitate research on robust object detection on aerial images. The codes and datasets are available at: https://github.com/hehaodong530/DOTA-C.

研究动机与目标

• 为解决缺乏标准化基准来评估航拍图像中目标检测模型鲁棒性，特别是面对真实世界损坏的问题。
• 研究常见图像损坏和云层特异性畸变对最先进航拍数据集目标检测模型性能的影响。
• 识别在分布偏移条件下提升航拍目标检测鲁棒性的架构与训练策略因素。
• 对主流模型在分布外数据（包括未见损坏类型）上的表现进行综合评估。
• 通过主干网络选择、模型容量和数据增强的消融研究，为设计更鲁棒的航拍目标检测器提供可操作的见解。

提出的方法

• 基于DOTA-v1.0构建损坏基准，通过在五个严重等级下应用ImageNet-C中的19种标准损坏。
• 通过将真实大气云层从真实卫星图像迁移至干净航拍图像，开发了新型云损坏基准，以实现更真实的模拟。
• 在未暴露于损坏的训练过程中，对多个最先进目标检测模型（如RoI Transformer、ReDet）在干净和损坏测试集上进行训练与评估。
• 对主干网络架构（ResNet、ConvNeXt、Swin）、模型容量（参数量）以及模块（RiRoI Align）和数据增强策略（RandomRotate、Mosaic）进行消融研究。
• 使用mAP@50、rPC（相对性能下降率）和$ PC_{\text{clouds}}$等指标，量化不同损坏类型和严重等级下的鲁棒性。
• 对不同损坏类别（噪声、模糊、天气、数字）进行对比分析，评估模型在不同类型退化下的鲁棒性。

实验结果

研究问题

• RQ1 主流目标检测模型在受常见图像畸变（如亮度、雪天、模糊）影响的航拍图像上的表现如何？
• RQ2 在航拍图像中常见但自然图像中罕见的云层损坏，在多大程度上影响最先进模型的检测性能？
• RQ3 哪些架构组件（如主干网络、注意力模块）和训练策略（如数据增强）最有效地提升在分布外损坏下的鲁棒性？
• RQ4 增加模型容量（如从Swin-T到Swin-L）如何影响不同损坏类型下的鲁棒性？
• RQ5 像RandomRotate和Mosaic这样的数据增强技术是否始终有助于提升鲁棒性，还是其效果因损坏类型而异？

主要发现

• 所有评估模型（包括RoI Transformer和ReDet）在损坏的航拍图像上性能显著下降，mAP@50在严重损坏下平均下降高达40%。
• 将主干网络替换为ConvNeXt-T或Swin-L可显著提升鲁棒性，rPC值在各类损坏下平均提升超过15个百分点。
• RiRoI Align模块在模糊损坏下显著增强了鲁棒性，相比标准RoI Align，rPC提升超过6%。
• 更大的模型（如Swin-L）在所有损坏类型下均持续优于较小版本（如Swin-T），在天气损坏下rPC最高提升达17%。
• 数据增强策略如RandomRotate和Mosaic的效果不一致——Mosaic甚至在数字损坏下降低了性能，表明其对鲁棒性的泛化能力有限。
• 采用ConvNeXt-T主干的模型在噪声损坏（47.17%）和天气损坏（74.82%）下达到最高rPC，而ReDet在模糊损坏下表现最佳（rPC为56.77%），凸显了架构特异性设计的重要性。