[论文解读] USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery

Jeremy Irvin, Lucas Tao+5 more|arXiv (Cornell University)|Dec 2, 2023

Remote-Sensing Image Classification被引用 4

一句话总结

USat 提出了一种统一的自监督视觉变换器编码器，用于多传感器卫星图像，能够在不进行下采样的情况下处理具有不同地面采样距离（GSD）的光谱波段。通过使用传感器特定的图像块划分方式、叠加式位置编码以及按波段独立的图像块投影，USatMAE 在遥感基准测试中实现了最先进性能，准确率最高提升 8%，并在低数据场景下表现出显著优势。

ABSTRACT

Large, self-supervised vision models have led to substantial advancements for automatically interpreting natural images. Recent works have begun tailoring these methods to remote sensing data which has rich structure with multi-sensor, multi-spectral, and temporal information providing massive amounts of self-labeled data that can be used for self-supervised pre-training. In this work, we develop a new encoder architecture called USat that can input multi-spectral data from multiple sensors for self-supervised pre-training. USat is a vision transformer with modified patch projection layers and positional encodings to model spectral bands with varying spatial scales from multiple sensors. We integrate USat into a Masked Autoencoder (MAE) self-supervised pre-training procedure and find that a pre-trained USat outperforms state-of-the-art self-supervised MAE models trained on remote sensing data on multiple remote sensing benchmark datasets (up to 8%) and leads to improvements in low data regimes (up to 7%). Code and pre-trained weights are available at https://github.com/stanfordmlgroup/USat .

研究动机与目标

• 为解决单传感器自监督预训练在遥感领域中的局限性，该局限性限制了模型的泛化能力，并未充分利用互补的多传感器数据。
• 开发一种灵活的编码器，能够处理来自不同传感器、空间分辨率（GSD）各异的光谱波段，而无需下采样，从而保留空间尺度和信息。
• 通过利用来自多传感器、多光谱数据的更丰富自监督信号，提升遥感下游任务的性能，特别是在低数据量场景下。
• 支持在微调阶段使用任意光谱波段和传感器子集，提升模型在多样化下游应用中的适应能力。
• 通过 GSD 感知的图像块划分和叠加式位置编码，减少序列长度和内存使用，克服现有多传感器模型在序列长度和内存效率方面的不足。

提出的方法

• USat 采用视觉变换器架构，配备传感器特定的图像块投影层，根据每个光谱波段的地面采样距离（GSD）自适应地将其划分为图像块，确保高分辨率波段贡献更多图像块。
• 通过叠加式位置编码建模多 GSD 输入的分层空间结构，使高分辨率波段能够保留细粒度的空间信息。
• 不同光谱波段的图像块嵌入通过光谱组池化层进行融合，再与位置编码相加，形成变换器编码器的最终图像块标记。
• 模型在多传感器数据（如 Sentinel-2 和 NAIP）上使用掩码自编码（MAE）目标进行预训练，从完整输入中重建被掩码的图像块。
• 该架构在预训练和微调阶段均支持任意光谱波段和传感器子集的使用，实现灵活的下游适应。
• 该方法避免对低 GSD（高分辨率）波段进行下采样，从而保留了先前方法中因统一缩放输入而损失的空间细节。

Figure 1 : Overview of the USat encoder architecture. USat can accept any subset of spectral bands (channels) and spatial patches from multiple satellite (Sentinel-2) and aerial imagery (NAIP) sensors. Each spectral band is independently patchified, with lower GSD (higher spatial resolution) bands d

实验结果

研究问题

• RQ1 统一的自监督编码器能否在不进行下采样的情况下，有效整合具有不同地面采样距离（GSD）的多传感器、多光谱卫星图像？
• RQ2 与单传感器预训练相比，联合在多个传感器（如 Sentinel-2 和 NAIP）上进行预训练是否能提升下游性能？
• RQ3 GSD 感知的图像块划分和叠加式位置编码方案是否能在保留空间信息的同时减少序列长度和内存使用？
• RQ4 在低数据量场景下，USatMAE 相较于监督学习和单传感器 MAE 基线模型表现如何？
• RQ5 该模型在使用来自多个传感器的任意光谱波段子集进行灵活微调方面，其适应能力达到何种程度？

主要发现

• USatMAE 在多个遥感基准测试中优于最先进的自监督 MAE 模型，在平均准确率上最高提升 8%。
• 在 USatlas 数据集上，USatMAE 相较于监督基线模型实现 1.26 mAP 的提升，相较标准 MAE 提升 0.41 mAP。
• 在低数据量场景下，USatMAE 相较于标准 MAE 性能最高提升 7%，展现出强大的少样本泛化能力。
• 在 METER-ML 数据集上，USatMAE 相较于监督学习实现 2.97 MAP 的提升，相较标准 MAE 提升 3.16 MAP。
• 在 Sentinel-2 和 NAIP 两个传感器上联合预训练的表现优于仅使用任一传感器预训练，证实了多传感器自监督的优势。
• 通过避免对高分辨率波段进行下采样，USatMAE 保留了空间细节，避免了先前多传感器方法中固有的信息损失。

(a) EuroSAT