[论文解读] The QXS-SAROPT Dataset for Deep Learning in SAR-Optical Data Fusion

Meiyu Huang, Yao Xu+7 more|arXiv (Cornell University)|Mar 15, 2021

Advanced SAR Imaging Techniques参考文献 31被引用 43

一句话总结

简要：引入QXS-SAROPT数据集，该数据集包含来自高分一号(GF-3)和谷歌地球的20,000对高分辨率SAR-光学补丁（1 m），并演示使用深度学习进行SAR-光学匹配和舰船检测的应用。

ABSTRACT

Deep learning techniques have made an increasing impact on the field of remote sensing. However, deep neural networks based fusion of multimodal data from different remote sensors with heterogenous characteristics has not been fully explored, due to the lack of availability of big amounts of perfectly aligned multi-sensor image data with diverse scenes of high resolutions, especially for synthetic aperture radar (SAR) data and optical imagery. To promote the development of deep learning based SAR-optical fusion approaches, we release the QXS-SAROPT dataset, which contains 20,000 pairs of SAR-optical image patches. We obtain the SAR patches from SAR satellite GaoFen-3 images and the optical patches from Google Earth images. These images cover three port cities: San Diego, Shanghai and Qingdao. Here, we present a detailed introduction of the construction of the dataset, and show its two representative exemplary applications, namely SAR-optical image matching and SAR ship detection boosted by cross-modal information from optical images. As a large open SAR-optical dataset with multiple scenes of a high resolution, we believe QXS-SAROPT will be of potential value for further research in SAR-optical data fusion technology based on deep learning.

研究动机与目标

• 提供一个大规模、高分辨率且场景多样的SAR-光学补丁数据集，以推动多模态数据融合的深度学习研究。
• 实现可重复评估，用于基于跨模态信息的SAR-光学图像匹配和SAR舰船检测。
• 展示基线应用以展示数据集的实用性及潜在研究方向。
• 讨论优点与局限，以引导未来数据集改进与扩展。

提出的方法

• 通过从高分一号SAR影像和谷歌地球光学影像中选取1 m分辨率，构建一个20,000对补丁数据集。
• 在子区域对之间手动定位匹配点，以在模态差异存在的情况下实现准确配准。
• 在手动点对应后，使用双线性插值对子区域SAR-光学对进行配准。
• 将配准后的对裁剪成256x256的补丁，采用20%的重叠（步长52）以最大化训练样本。
• 进行人工检测以去除低纹理或有缺陷的补丁，最终得到20,000个高质量对。
• 展示两个典型任务：(i) 使用Bridge Neural Network (BNN)将模态投射到共同特征空间的SAR-光学图像匹配；(ii) 通过跨模态预训练提升特征嵌入的SAR舰船检测。

实验结果

研究问题

• RQ1 如何从高分一号(GF-3)和Google Earth影像构建一个大规模、高分辨率的共注册SAR-光学补丁数据集？
• RQ2 基于深度学习的SAR-光学匹配是否可以从跨模态嵌入方法（如Bridge Neural Networks）中获益？
• RQ3 来自光学数据的跨模态预训练是否可以提升SAR舰船检测性能？
• RQ4 QXS-SAROPT数据集在SAR-光学数据融合任务中的优点和局限性是什么？

主要发现

• 基于BNN的补丁匹配在QXS-SAROPT上训练后，在测试子集上使用ResNet50达到82.9%的准确率，使用Darknet53达到82.8%的准确率。
• OSM预训练（SAR舰船检测器）在Faster R-CNN和YOLOv3设置中相对于ImageNet预训练基线提高了AIR-SARShip-1.0上的平均精度（具体数值见论文）。
• 该数据集实现了两种代表性应用：SAR-光学图像匹配和通过跨模态信息提升的SAR舰船检测。
• QXS-SAROPT是首个覆盖三个主要港口、具多样地物类型且分辨率为1米的高分辨率共注册SAR-光学补丁数据集。
• 该数据集采用开放获取、CC BY许可，目前覆盖圣地亚哥、上海和青岛，促进多模态融合和目标检测的研究。