[论文解读] The SEN1-2 Dataset for Deep Learning in SAR-Optical Data Fusion

Michael Schmitt, Lloyd Haydn Hughes+1 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Image Fusion Techniques参考文献 14被引用 4

一句话总结

本文介绍了SEN1-2数据集，这是一个大规模的282,384对共注册SAR-光学图像块集合，来自Sentinel-1和Sentinel-2，支持合成孔径雷达（SAR）与光学数据融合的深度学习研究。该数据集支持SAR图像着色、图像匹配以及从SAR生成人工光学图像等应用，使用伪孪生卷积神经网络在SAR-光学图像块匹配任务中实现了93.98%的最先进准确率。

ABSTRACT

While deep learning techniques have an increasing impact on many technical fields, gathering sufficient amounts of training data is a challenging problem in remote sensing. In particular, this holds for applications involving data from multiple sensors with heterogeneous characteristics. One example for that is the fusion of synthetic aperture radar (SAR) data and optical imagery. With this paper, we publish the SEN1-2 dataset to foster deep learning research in SAR-optical data fusion. SEN1-2 comprises 282,384 pairs of corresponding image patches, collected from across the globe and throughout all meteorological seasons. Besides a detailed description of the dataset, we show exemplary results for several possible applications, such as SAR image colorization, SAR-optical image matching, and creation of artificial optical images from SAR input data. Since SEN1-2 is the first large open dataset of this kind, we believe it will support further developments in the field of deep learning for remote sensing as well as multi-sensor data fusion.

研究动机与目标

• 为遥感领域深度学习中SAR-光学图像对稀缺的问题提供解决方案。
• 通过提供全球分布且季节多样的数据集，支持鲁棒的SAR-光学数据融合深度学习模型开发。
• 支持SAR图像着色、图像匹配以及合成光学图像生成等方法的基准测试。
• 为未来扩展多光谱数据和土地利用/土地覆盖标签奠定基础。
• 通过提供多样化、大规模且具有全球代表性的数据集，克服现有数据集在规模小和图像块重叠率高的局限性。

提出的方法

• 使用Sentinel-1 GRD VV极化SAR影像和Sentinel-2 Level-1C大气顶层反射率数据构建数据集，两者均重采样至20米分辨率。
• 从全球所有陆地区域及四个季节的共址影像中提取64×64大小的图像块，以确保时间和空间多样性。
• 通过使用SRTM或ASTER数字高程模型（DEM）及精确轨道数据，实现精确地理定位，确保SAR与光学图像块之间的亚像素对齐。
• 未应用斑点噪声滤波，以保留原始SAR特性，允许最终用户自行应用预处理。
• 基于场景和季节对数据集进行确定性划分，分为训练集、验证集和测试集，以确保评估无偏差。
• 在数据集上训练并评估了试点模型，包括用于匹配任务的伪孪生卷积神经网络和用于图像到图像转换的pix2pix GAN，以证明其有效性。

实验结果

研究问题

• RQ1 大规模、全球分布的共注册SAR-光学图像块数据集是否能够支持遥感领域更鲁棒和泛化能力更强的深度学习模型？
• RQ2 SEN1-2数据集在SAR-光学图像匹配模型训练中的有效性如何？可实现何种性能水平？
• RQ3 在SEN1-2上训练的生成模型在多大程度上能够从SAR输入合成逼真的光学图像？
• RQ4 数据集中全球位置和季节条件的多样性在多大程度上影响模型在不同环境条件下的泛化能力？
• RQ5 与地表反射率校正数据相比，使用大气顶层反射率数据在下游深度学习任务中存在哪些局限性？

主要发现

• SEN1-2数据集包含282,384对共注册SAR-光学图像块对，数据来自多样化的全球位置和所有四个季节，确保了广泛的空间和时间覆盖。
• 在数据集子集上训练的伪孪生卷积神经网络在识别匹配SAR-光学图像块对方面达到了93.98%的准确率，错误阳性率仅为6.02%。
• 使用pix2pix GAN模型的示例结果表明，从SAR输入生成逼真的人工光学图像在多个测试案例中均表现出视觉一致性。
• 由于基于场景和季节对数据集进行了确定性划分，该数据集支持无偏模型评估，有效降低了数据泄露风险。
• 该数据集是首个大规模开放的同类资源，显著优于先前的SARptical等数据集，在规模和多样性方面均有大幅提升，图像块数量达到其10倍，且重叠率更低。
• 作者计划发布版本2，包含完整的多光谱Sentinel-2数据和大气校正信息，进一步提升其在高级遥感应用中的实用性。