[论文解读] SARDet-100K: Towards Open-Source Benchmark and ToolKit for Large-Scale SAR Object Detection

Yuxuan Li, Xiang Li+5 more|arXiv (Cornell University)|Mar 11, 2024

Advanced SAR Imaging Techniques被引用 16

一句话总结

介绍 SARDet-100K，一个 COCO 规模的多类 SAR 对象检测数据集，以及用于缩小领域/模型差异的 MSFA 预训练，面向 SAR 检测，附带开源代码。

ABSTRACT

Synthetic Aperture Radar (SAR) object detection has gained significant attention recently due to its irreplaceable all-weather imaging capabilities. However, this research field suffers from both limited public datasets (mostly comprising <2K images with only mono-category objects) and inaccessible source code. To tackle these challenges, we establish a new benchmark dataset and an open-source method for large-scale SAR object detection. Our dataset, SARDet-100K, is a result of intense surveying, collecting, and standardizing 10 existing SAR detection datasets, providing a large-scale and diverse dataset for research purposes. To the best of our knowledge, SARDet-100K is the first COCO-level large-scale multi-class SAR object detection dataset ever created. With this high-quality dataset, we conducted comprehensive experiments and uncovered a crucial challenge in SAR object detection: the substantial disparities between the pretraining on RGB datasets and finetuning on SAR datasets in terms of both data domain and model structure. To bridge these gaps, we propose a novel Multi-Stage with Filter Augmentation (MSFA) pretraining framework that tackles the problems from the perspective of data input, domain transition, and model migration. The proposed MSFA method significantly enhances the performance of SAR object detection models while demonstrating exceptional generalizability and flexibility across diverse models. This work aims to pave the way for further advancements in SAR object detection. The dataset and code is available at https://github.com/zcablii/SARDet_100K.

研究动机与目标

• 通过将现有的 10 个 SAR 数据集整合并标准化为 SARDet-100K，提供一个大规模、COCO 规模的 SAR 目标检测数据集。
• 在 RGB 数据预训练与在 SAR 数据微调之间，识别领域与模型迁移差距。
• 提出 MSFA（Multi-Stage with Filter Augmentation）预训练，以减少数据/领域与模型差距。
• 展示 MSFA 在不同检测器与骨干网络上的通用性，并建立开源基准与工具。

提出的方法

• 通过收集、标准化并将 10 个公共 SAR 数据集转换为 COCO-格式，包含 6 个类别（Aircraft、Ship、Car、Bridge、Tank、Harbor）的 SARDet-100K。
• 分析基于 RGB 的预训练（如 ImageNet）与 SAR 微调之间的领域迁移差距。
• 引入带有滤波增强输入的特征通道连接，将手工特征通道（HOG、Canny、Haar、WST、GRE）与 SAR 图像拼接，以减少领域差距。
• 采用多阶段预训练方案，在进行 SAR 微调前，使用中间的光学遥感数据集对检测器骨干进行预训练。
• 在多阶段预训练中将整个检测器作为桥接模型，以缓解骨干与完整检测框架之间的模型差距。
• 在多种检测器和骨干网络上验证 MSFA，并与最先进的开源 SAR 检 detector 进行对比。

实验结果

研究问题

• RQ1 SARDet-100K 是否能够为 SAR 目标检测提供一个 COCO 规模的多类别基准？
• RQ2 MSFA 预训练框架在将迁移从 RGB 域到 SAR 域时，是否能够降低领域与模型差距？
• RQ3 Filter Augmented Input 在缩小领域差距、提升 SAR 检检测性能方面是否有效？
• RQ4 MSFA 在不同检测器和骨干架构上的通用性如何？

主要发现

• SARDet-100K 由 116k 张图像和 245k 个实例组成，涵盖六个类别，使其成为 SAR 对象检测的 COCO 规模数据集。
• 使用 Filter Augmented Input 的 MSFA 显著提升 SAR 检检测性能并减少领域迁移差距。
• 采用大规模光学遥感数据的两阶段预训练（第二阶段）进一步提升微调结果，且更大的预训练数据集带来更强的增益。
• MSFA 在开源方法中在 SSDD 与 HRSID 基准上实现了最新性能，优于若干现有 SAR 检测器。
• MSFA 展现出对检测器与骨干网络的鲁棒泛化性，随着模型规模的增加，获得一致的增益。