[论文解读] SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery

Xin Guo, Jiangwei Lao+14 more|arXiv (Cornell University)|Dec 15, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

SkySense 提出了一种多模态遥感基础模型，通过使用分解时空编码器和跨模态对齐，整合光学、SAR 和时间序列数据，实现对地球观测图像的通用理解。该模型在下游任务（如场景分类、目标检测和语义分割）中达到最先进性能，展现出卓越的泛化能力、更快的收敛速度以及在有限微调数据下的鲁棒性，在 AID 数据集（20% 训练数据）上整体准确率相比先前模型 SatLas、Scale-MAE 和 GFM 最高提升 28.09%。

ABSTRACT

Prior studies on Remote Sensing Foundation Model (RSFM) reveal immense potential towards a generic model for Earth Observation. Nevertheless, these works primarily focus on a single modality without temporal and geo-context modeling, hampering their capabilities for diverse tasks. In this study, we present SkySense, a generic billion-scale model, pre-trained on a curated multi-modal Remote Sensing Imagery (RSI) dataset with 21.5 million temporal sequences. SkySense incorporates a factorized multi-modal spatiotemporal encoder taking temporal sequences of optical and Synthetic Aperture Radar (SAR) data as input. This encoder is pre-trained by our proposed Multi-Granularity Contrastive Learning to learn representations across different modal and spatial granularities. To further enhance the RSI representations by the geo-context clue, we introduce Geo-Context Prototype Learning to learn region-aware prototypes upon RSI's multi-modal spatiotemporal features. To our best knowledge, SkySense is the largest Multi-Modal RSFM to date, whose modules can be flexibly combined or used individually to accommodate various tasks. It demonstrates remarkable generalization capabilities on a thorough evaluation encompassing 16 datasets over 7 tasks, from single- to multi-modal, static to temporal, and classification to localization. SkySense surpasses 18 recent RSFMs in all test scenarios. Specifically, it outperforms the latest models such as GFM, SatLas and Scale-MAE by a large margin, i.e., 2.76%, 3.67% and 3.61% on average respectively. We will release the pre-trained weights to facilitate future research and Earth Observation applications.

研究动机与目标

• 开发一种适用于地球观测的通用基础模型，使其在多样化遥感任务和模态间具备泛化能力。
• 通过整合多模态（光学、SAR、时间序列）和多尺度（高、中、小）输入，提升遥感中的特征表示学习能力。
• 通过新颖的分解时空编码器和基于注意力的地理上下文融合机制，提升模型效率和收敛速度。
• 利用统一的预训练框架，建立零样本和少样本迁移学习在遥感领域的基准。
• 提供一种灵活、可重用且互操作的预训练模型，兼容主流深度学习框架，适用于多样化的下游应用。

提出的方法

• 采用分解时空编码器，分别建模空间和时间动态，提升效率和表示质量。
• 通过对比学习引入跨模态对齐，对齐光学、SAR 和时间序列模态的特征，增强多模态融合效果。
• 使用注意力地理上下文融合模块，结合区域特定原型，为空间特征注入上下文感知能力。
• 在大规模、多样化的数据集上进行预训练，该数据集整合了同步时空对齐的 Sentinel-2、Sentinel-1 及其他地球观测数据。
• 采用多阶段预训练策略，结合掩码自编码和对比学习，学习鲁棒且可泛化的表示。
• 通过模块化预训练组件（空间编码器、融合 Transformer、地理上下文模块）支持灵活的下游部署，兼容 MMCV、PyTorch 和 TIMM。

实验结果

研究问题

• RQ1 多模态基础模型是否能在诸如场景分类、目标检测和语义分割等多样化地球观测任务中实现更优的泛化能力？
• RQ2 在少样本和全量样本设置下，所提出的 SkySense 模型相较于 SatLas、Scale-MAE 和 GFM 等现有遥感基础模型，在收敛速度和性能方面表现如何？
• RQ3 与单模态或双模态基线相比，光学、SAR 和时间序列数据的整合在多大程度上提升了特征表示和下游任务准确率？
• RQ4 分解时空编码器在捕捉时空依赖关系的同时，能否保持计算效率？
• RQ5 模型规模和参数量对性能有何影响？较小的变体（如 Swin-L）是否能在不进行全规模预训练的情况下保持强泛化能力？

主要发现

• 在 AID 数据集（20% 训练数据）上，SkySense 整体准确率达到 94.07%，相比 SatLas 提升 28.09%，相比 Scale-MAE 提升 17.64%。
• 在 DIOR 数据集的目标检测任务中，SkySense 的 mAP50 达到 72.54%，相比次优方法（Scale-MAE 的 60.46%）提升 12.08%。
• 在 iSAID 数据集的语义分割任务中，SkySense 的 mIoU 达到 65.40%，相比其他方法平均提升 9.69%，展现出强大的泛化能力。
• 在 AID 数据集（1% 训练数据）上，SkySense 仅用 20 个周期即完成收敛，而其他模型至少需要 140 个周期才能达到更低且不稳定的性能。
• 当用较小的 Swin-L 主干网络替代大型 Swin-H 时，SkySense 仍保持优异性能（如在 RESISC-45 上达到 88.74% 的总体准确率），证明其可扩展性和高效性。
• 在 BigEarthNet-MM 数据集上，SkySense 在多模态（光学 + SAR）场景分类任务中达到最先进性能，验证了其在复杂真实多传感器场景下的鲁棒性。