[论文解读] Multimodal contrastive learning for remote sensing tasks

Umangi Jain, Alex Wilson+1 more|arXiv (Cornell University)|Sep 6, 2022

Advanced Image and Video Retrieval Techniques被引用 12

一句话总结

该论文提出了一种多模态对比学习框架，利用配对的Sentinel-1（SAR）和Sentinel-2（光学）卫星图像作为自然正样本进行预训练，从而无需手工设计的数据增强。该方法在洪水分割和土地覆盖制图任务上达到最先进性能，与SimCLR基线相比，水体类别的IoU绝对提升高达+8.26。

ABSTRACT

Self-supervised methods have shown tremendous success in the field of computer vision, including applications in remote sensing and medical imaging. Most popular contrastive-loss based methods like SimCLR, MoCo, MoCo-v2 use multiple views of the same image by applying contrived augmentations on the image to create positive pairs and contrast them with negative examples. Although these techniques work well, most of these techniques have been tuned on ImageNet (and similar computer vision datasets). While there have been some attempts to capture a richer set of deformations in the positive samples, in this work, we explore a promising alternative to generating positive examples for remote sensing data within the contrastive learning framework. Images captured from different sensors at the same location and nearby timestamps can be thought of as strongly augmented instances of the same scene, thus removing the need to explore and tune a set of hand crafted strong augmentations. In this paper, we propose a simple dual-encoder framework, which is pre-trained on a large unlabeled dataset (~1M) of Sentinel-1 and Sentinel-2 image pairs. We test the embeddings on two remote sensing downstream tasks: flood segmentation and land cover mapping, and empirically show that embeddings learnt from this technique outperform the conventional technique of collecting positive examples via aggressive data augmentations.

研究动机与目标

• 解决自监督学习在遥感领域中数据增强超参数密集的问题。
• 探究来自不同传感器的多模态卫星图像是否可在对比学习中作为有效的正样本对。
• 在不依赖ImageNet或人工调整增强策略的前提下，提升洪水分割和土地覆盖制图等下游遥感任务的性能。
• 证明来自不同传感器的自然多模态数据可生成优于人工增强视图的表征。

提出的方法

• 采用双编码器架构，在约100万对未标注的Sentinel-1和Sentinel-2图像上使用对比损失进行训练，这些图像在同一地理位置且时间相近。
• 通过在相同空间和时间邻近性下匹配不同传感器的图像，自然形成正样本对，替代手工设计的增强方法。
• 通过最小化配对SAR与光学图像嵌入之间的对比损失，同时将负样本对相互推开，使模型学习联合表征。
• 在大规模、多样化的多模态卫星图像对数据集上进行预训练，实现对下游任务的良好泛化能力。
• 框架对每种模态分别使用简单的空间增强（如裁剪、翻转），避免复杂增强超参数搜索。
• 在下游任务如洪水分割（Sen1Floods11）和土地覆盖分类（Dynamic World）上进行微调，并使用IoU和准确率等指标进行评估。

实验结果

研究问题

• RQ1 来自不同传感器的自然多模态卫星图像对能否在遥感对比学习中作为有效的正样本？
• RQ2 多模态预训练是否在下游遥感任务中优于传统的基于增强的自监督学习方法（如SimCLR）？
• RQ3 是否可以通过利用SAR与光学传感器之间的互补信息，弥补缺乏手工设计增强超参数调优的不足？
• RQ4 多模态预训练如何影响不同土地覆盖类别（尤其是对纹理或地表粗糙度敏感的类别）的性能表现？
• RQ5 所提出的方法是否能在不同遥感任务和传感器组合间实现泛化？

主要发现

• 在Sen1Floods11洪水分割任务中，多模态预训练模型在水体类别上比SimCLR提升+8.26%的绝对IoU，在建筑区域提升+6.24%。
• 在Dynamic World（Sentinel-2）数据集上，多模态检查点在水体类别上实现+8.26%的绝对IoU增益，在积雪/冰面类别上提升+8.05%，且在SAR可探测的地表类型中增益最大。
• 在Dynamic World（Sentinel-1）上，多模态模型相比SimCLR在农作物类别上IoU提升+3.36%，在建筑区域提升+2.52%，尽管积雪/裸土类别的性能略有下降。
• 该方法减少了对数据增强超参数调优的依赖，因为多模态对本身提供了强大的正样本信号。
• 在Sen1Floods11数据集上，使用多模态检查点进行微调达到峰值性能的速度比使用SimCLR快约2.4倍，表明训练效率有所提升。
• 即使对SAR使用改进的SimCLR增强策略（降低抖动强度），多模态模型仍优于增强后的基线，证实其鲁棒性和优越性。