[论文解读] SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation

Yi Wang, Nassim Ait Ali Braham+4 more|arXiv (Cornell University)|Nov 13, 2022

Advanced Image and Video Retrieval Techniques被引用 25

一句话总结

作者发布 SSL4EO-S12，这是一个全球性的、多模态的多时相未标注地球观测数据集（Sentinel-1/2），用于自监督预训练，并展示其在多种 SSL 方法和下游遥感任务上的有效性。

ABSTRACT

Self-supervised pre-training bears potential to generate expressive representations without human annotation. Most pre-training in Earth observation (EO) are based on ImageNet or medium-size, labeled remote sensing (RS) datasets. We share an unlabeled RS dataset SSL4EO-S12 (Self-Supervised Learning for Earth Observation - Sentinel-1/2) to assemble a large-scale, global, multimodal, and multi-seasonal corpus of satellite imagery from the ESA Sentinel-1 \& -2 satellite missions. For EO applications we demonstrate SSL4EO-S12 to succeed in self-supervised pre-training for a set of methods: MoCo-v2, DINO, MAE, and data2vec. Resulting models yield downstream performance close to, or surpassing accuracy measures of supervised learning. In addition, pre-training on SSL4EO-S12 excels compared to existing datasets. We make openly available the dataset, related source code, and pre-trained models at https://github.com/zhu-xlab/SSL4EO-S12.

研究动机与目标

• 推动地球观测的自监督预训练，克服对 ImageNet- 类数据和小型 RS 数据集的依赖。
• 组装一个全球性的、多模态、跨四季的 EO 语料库（Sentinel-1/2），具有四个季节快照且没有重叠的小块。
• 在多样的下游 RS 任务上评估代表性的 SSL 方法，以建立可迁移性和基准性能。
• 展示 RS 特定的数据增强（多传感器、多时相、大气校正），提升 SSL 的收益。

提出的方法

• 通过抽样 251,079 个全球位置并在四个季节收集 Sentinel-1 SAR 和 Sentinel-2 光学数据 (L1C/L2A)，实现重叠不显著的覆盖。
• 在 SSL4EO-S12 数据上对四种 SSL 方法进行预训练（MoCo-v2/v3、DINO、MAE、data2vec），以 Sentinel-2 L1C 作为默认输入。
• 使用 Multi-Temporal RandomSeasonContrast 来利用季节变化进行 MoCo 和 DINO 的对比；为 MAE 和 data2vec 的每个补丁分配一个随机季节。
• 通过线性探针和微调在 EuroSAT、BigEarthNet、So2Sat-LCZ42（场景分类）上评估对下游任务的迁移；在 DFC2020 和 OSCD（分割/变化检测）上评估。
• 对多模态性、季节信息、大气校正和预训练规模进行消融分析，以评估影响。

实验结果

研究问题

• RQ1 在全球性、多模态、多时相的 EO 数据集上进行大规模 SSL 预训练，对下游 RS 任务有多大的有效性？
• RQ2 RS 特定的数据增强（多传感器、多时相、大气校正）是否提升 SSL 迁移性能？
• RQ3 在线性探针和微调方面，SSL4EO-S12 与其他 RS 预训练数据集（如 SEN12MS、SeCo、ImageNet）相比如何？
• RQ4 训练数据规模对下游性能和饱和行为有什么影响？
• RQ5 多模态（S1+S2）预训练相对于单模态预训练带来哪些好处？

主要发现

• SSL4EO-S12 使多种 SSL 方法（MoCo-v2、DINO、MAE、data2vec）的自监督预训练变得有效。
• 在 SSL4EO-S12 上进行预训练，在若干任务上提升了下游性能，相对于现有的 RS 预训练数据集。
• RS 特定的数据增强（包括多传感器、多时相和大气校正）在迁移性能上带来显著提升。
• 多模态预训练（S1+S2）在下游 BigEarthNet 及相关数据集上提供了对单模态的额外提升。
• 在标签有限的情况下进行微调，受益于 SSL4EO-S12 预训练，有时甚至超过拥有更多标签的全监督模型。
• 随着预训练数据量增加，性能提升出现可观察到的饱和，受模型规模影响。