[论文解读] SeaMo: A Season-Aware Multimodal Foundation Model for Remote Sensing

Xuyang Li, Chen-Yu Li+2 more|arXiv (Cornell University)|Dec 26, 2024

Advanced Computational Techniques and Applications被引用 4

一句话总结

SeaMo 是一种新颖的、具有季节感知能力的多模态基础模型，专为遥感设计，通过渐进式的掩码图像建模框架，整合多季节和多源数据（光学、SAR）。它利用非对齐裁剪、模态特定的分词器以及时间-多模态融合模块，学习鲁棒且不变的表征，在 EuroSAT、fMoW 和 BigEarthNet 等数据集上，于分类、变化检测和分割等多样化下游任务中达到最先进性能。

ABSTRACT

Remote Sensing (RS) data encapsulates rich multi-dimensional information essential for Earth observation. Its vast volume, diverse sources, and temporal continuity make it particularly well-suited for developing large Visual Foundation Models (VFMs). These models serve as powerful feature extractors, leveraging extensive RS data for pretraining and subsequent fine-tuning in various geoscientific applications. However, existing VFMs in the RS domain often concentrate on specific image characteristics, neglecting the full season-aware potential of RS data. To bridge this gap, we introduce SeaMo, a novel VFM that effectively integrates multimodal and multi-seasonal RS information. SeaMo leverages a masked image modeling framework to fully exploit the spatial, spectral, and seasonal dimensions of RS data. Specifically, we employ unaligned spatial region selection to capture spatial heterogeneity, incorporate multi-source inputs for enhanced multimodal integration, and introduce temporal-multimodal fusion blocks to assimilate seasonal variations effectively. By explicitly modeling the complex, season-dependent attributes of RS data, SeaMo enhances generalization, robustness, and adaptability across geoscientific tasks. Extensive experiments and ablation studies demonstrate its superior performance, underscoring its potential as a foundational model for Earth observation.

研究动机与目标

• 为了解决现有遥感基础模型仅关注单一维度属性（如空间或时间）而忽略多季节和多模态数据整合的局限性。
• 开发一种显式建模遥感数据多维特性的自监督视觉基础模型，包括空间、时间与光谱特性。
• 通过渐进式预训练策略整合异构卫星影像，提升特征提取能力与下游任务性能。
• 在真实遥感应用中，验证模型对不同图像尺寸和光谱波段数量变化的鲁棒性与泛化能力。

提出的方法

• SeaMo 采用渐进式预训练的掩码图像建模（MIM）框架，逐步增加数据复杂度，以优化表征学习。
• 使用非对齐裁剪从异构卫星影像中提取空间特性，增强空间不变性与鲁棒性。
• 多源输入（如光学与 SAR）通过模态特定分词器处理，并经由时间-多模态融合模块（TM 模块）融合，以捕捉跨模态依赖关系。
• 采用位置编码插值策略，实现对不同输入图像尺寸的泛化；同时引入新型分词器以适配不同光谱波段数量。
• 模型使用共享视觉 Transformer 主干网络，配备可学习掩码标记和重建头，以自监督方式预测被掩码的图像块。
• 预训练流程被设计为逐步引入更复杂的数据，包括多季节序列与多模态输入，以提升特征泛化能力。

实验结果

研究问题

• RQ1 如何有效整合多季节与多模态遥感数据，以提升表征学习效果？
• RQ2 哪些架构组件对于捕捉遥感数据的多维特性（空间、时间、光谱、模态）至关重要？
• RQ3 渐进式自监督预训练在多大程度上提升了遥感基础模型的鲁棒性与泛化能力？
• RQ4 该模型在异构数据源上的多样化下游任务（包括分类、分割与变化检测）中表现如何？
• RQ5 在真实部署场景中，模型对输入图像尺寸与光谱波段数量变化的敏感性如何？

主要发现

• 当在 128×128×12 的光学与 SAR 数据上微调时，SeaMo 在 EuroSAT 数据集上达到 99.37% 的测试准确率，展现出强大的泛化能力与鲁棒性。
• 随着预训练时间延长，性能持续提升，消融实验表明在某一临界点后收益递减，表明模型已实现有效收敛。
• 在 224×224 图像上，模型保持高性能（准确率 99.26%），表明对输入尺寸变化不敏感；但当光谱波段减少至 4 时，性能显著下降（降至 99.08%）。
• 时间-多模态融合模块（TM 模块）对于整合多季节与多模态数据至关重要，消融实验证明其移除后性能明显下降。
• 在多个下游任务中，包括 OSCD 上的变化检测与 DFC2020 上的语义分割，该模型均优于现有基础模型，证实其多功能性与高效性。
• 消融研究确认，非对齐裁剪与渐进式预训练分别是学习空间不变性与鲁棒时间表征的关键因素。