[论文解读] SatlasPretrain: A Large-Scale Dataset for Remote Sensing Image Understanding

Favyen Bastani, Piper Wolters+3 more|arXiv (Cornell University)|Nov 28, 2022

Remote-Sensing Image Classification被引用 5

一句话总结

SatlasPretrain 引入了一个大规模、多类别遥感数据集，包含跨越137个类别和七种标签类型的3.02亿个标注，结合了Sentinel-2和NAIP影像。在该数据集上进行预训练，使下游任务的平均准确率相比ImageNet高出18%，相比次优基线高出6%，显著提升了在多样化、低资源遥感任务中的性能。

ABSTRACT

Remote sensing images are useful for a wide variety of planet monitoring applications, from tracking deforestation to tackling illegal fishing. The Earth is extremely diverse -- the amount of potential tasks in remote sensing images is massive, and the sizes of features range from several kilometers to just tens of centimeters. However, creating generalizable computer vision methods is a challenge in part due to the lack of a large-scale dataset that captures these diverse features for many tasks. In this paper, we present SatlasPretrain, a remote sensing dataset that is large in both breadth and scale, combining Sentinel-2 and NAIP images with 302M labels under 137 categories and seven label types. We evaluate eight baselines and a proposed method on SatlasPretrain, and find that there is substantial room for improvement in addressing research challenges specific to remote sensing, including processing image time series that consist of images from very different types of sensors, and taking advantage of long-range spatial context. Moreover, we find that pre-training on SatlasPretrain substantially improves performance on downstream tasks, increasing average accuracy by 18% over ImageNet and 6% over the next best baseline. The dataset, pre-trained model weights, and code are available at https://satlas-pretrain.allen.ai/.

研究动机与目标

• 解决缺乏大规模、多样化且集中化的遥感数据集的问题，这些数据集可支持多任务学习和迁移学习。
• 通过捕捉从千米到厘米尺度的全球多样性特征，实现遥感领域可泛化的计算机视觉模型。
• 克服现有基准的局限性，这些基准通常碎片化、规模小（少于1万张图像），且仅限于单一任务或类别。
• 为少数标注样本的遥感应用（如非法捕鱼检测和冰川监测）提供迁移学习支持。
• 提供统一的预训练基础，以处理多样化的传感器类型、长距离空间上下文和可变目标尺度。

提出的方法

• 结合高分辨率的Sentinel-2和NAIP卫星影像，构建一个多样化且具有全球代表性的数据集。
• 使用多种标签类型（点、多边形、折线、语义分割、回归、属性和图像块分类）对137个类别中的3.02亿个独立实例进行标注。
• 采用基于Swin Transformer的主干网络（SatlasNet）进行特征提取，并在SatlasPretrain上完成预训练后，对下游任务进行微调。
• 将预训练性能与ImageNet、四个现有遥感数据集（BigEarthNet、Million-AID、DOTA、iSAID）以及两种自监督方法（MoCo v2、SeCo）进行对比评估。
• 实施两阶段微调协议：首先冻结主干网络，仅训练分类头；随后微调整个模型。
• 利用SatlasPretrain的规模和多样性，训练出可在任务和传感器类型间泛化的模型，包括时序和多光谱数据。

Figure 2 : Overview of the SatlasPretrain dataset. SatlasPretrain consists of image time series and labels for 856K Web-Mercator tiles at zoom 13 (left). There are two image modes on which methods are trained and evaluated independently: high-resolution NAIP images (top) and low-resolution Sentinel-

实验结果

研究问题

• RQ1 大规模、多类别的遥感数据集能否在多样化下游任务中提升迁移学习性能？
• RQ2 在SatlasPretrain上进行预训练，与在ImageNet及其他遥感基准上预训练相比，其下游准确率表现如何？
• RQ3 SatlasPretrain在仅提供50个标注样本的情况下，对低资源遥感任务的性能提升程度如何？
• RQ4 现有计算机视觉模型在处理SatlasPretrain中全部七种标签类型时存在哪些局限性？
• RQ5 在多样化、多传感器数据集上进行预训练，能否提升模型对长距离空间上下文和可变尺度特征的泛化能力？

主要发现

• 在SatlasPretrain上进行预训练，使七项多样化遥感任务的平均下游准确率相比ImageNet预训练提升18%，相比次优基线提升6%。
• 即使在每个任务仅使用50个标注样本进行微调时，该数据集仍能带来显著的性能增益，表明其具备强大的零样本和少样本迁移能力。
• 现有任何计算机视觉基线均不支持SatlasPretrain中的全部七种标签类型，表明遥感任务需要专门设计的架构。
• 在SatlasPretrain上预训练的模型在风力涡轮机和水塔等具有挑战性的类别上表现优异，但在密集折线检测（如道路和铁路）方面仍存在问题。
• 该数据集支持高精度地理空间数据提取，如Satlas平台所示，其使用经过SatlasPretrain微调的模型，每月生成全球范围内的风力涡轮机、太阳能电站和树冠覆盖数据。
• 自监督方法（如SeCo）虽具潜力，但相比在SatlasPretrain上进行的监督预训练仍表现欠佳，凸显了经过精心筛选的大规模监督信号的价值。

Figure 3 : Geographic coverage of SatlasPretrain , with bright pixels indicating locations covered by images and labels in the dataset. SatlasPretrain spans all continents except Antarctica.