[论文解读] Toward Foundation Models for Earth Monitoring: Proposal for a Climate Change Benchmark

Alexandre Lacoste, Evan David Sherwin+10 more|arXiv (Cornell University)|Dec 1, 2021

Topic Modeling被引用 10

一句话总结

本文提出一个聚焦气候的基准测试，旨在加速地球监测基础模型的发展，利用多样化的遥感任务（如甲烷检测、洪水制图和土地覆盖分割）作为支撑。通过整合标准化、带标签的数据集和开放的评估协议，该基准旨在提升模型泛化能力，减少对数据的依赖，并主动缓解偏差和高碳排放等潜在风险。

ABSTRACT

Recent progress in self-supervision shows that pre-training large neural networks on vast amounts of unsupervised data can lead to impressive increases in generalisation for downstream tasks. Such models, recently coined as foundation models, have been transformational to the field of natural language processing. While similar models have also been trained on large corpuses of images, they are not well suited for remote sensing data. To stimulate the development of foundation models for Earth monitoring, we propose to develop a new benchmark comprised of a variety of downstream tasks related to climate change. We believe that this can lead to substantial improvements in many existing applications and facilitate the development of new applications. This proposal is also a call for collaboration with the aim of developing a better evaluation process to mitigate potential downsides of foundation models for Earth monitoring.

研究动机与目标

• 解决当前地球监测领域基础模型缺乏标准化评估的问题，该问题目前限制了气候相关应用的进展。
• 推动面向遥感数据的大规模基础模型开发，类似于其在自然语言处理和计算机视觉领域的成功经验。
• 通过自始至终倡导开放、透明的评估，主动缓解潜在的社会风险（如偏差和高碳排放）。
• 通过提供系统化、共享的基准，促进科学进步，以衡量和比较不同气候相关任务上的模型性能。
• 鼓励社区协作，共同整理数据集、识别风险并优化评估流程，以实现稳健、公平的模型开发。

提出的方法

• 从现有数据集中整合多样化的下游任务，包括分类、分割和回归，聚焦于气候相关应用。
• 定义透明、开源的评估流程，采用标准化指标，确保模型比较的可复现性和公平性。
• 优先采用具有时间与空间一致性的多光谱、SAR 和高光谱卫星数据，以支持自监督预训练。
• 利用现有带标签数据集（如 CalMethane Survey、SEN12-FLOOD 和 AquaSat）作为基准的核心训练与评估数据。
• 通过推荐使用碳中和数据中心、高效代码设计、硬件优化和排放报告等方式，推广可持续的训练实践。
• 实施协作框架，邀请研究人员以开放、跨学科的方式贡献数据集、识别偏差并优化评估协议。

实验结果

研究问题

• RQ1 标准化基准在多大程度上能改善地球监测基础模型的开发与评估？
• RQ2 哪些类型的遥感任务最适合作为基础模型在气候应用中的预训练与泛化？
• RQ3 如何设计评估流程，以主动识别并减少偏差和高碳排放等社会风险？
• RQ4 基于地球观测数据训练的基础模型在甲烷检测或洪水制图等气候相关任务上，能在多大程度上超越现有模型？
• RQ5 社区主导的数据整理与开放评估在确保地球监测人工智能的公平性与可持续性方面发挥何种作用？

主要发现

• 该基准提案实现了对多样化气候应用中文本模型的系统化、透明化评估，提升了科学可复现性与研究进展。
• 基于地球观测数据训练的基础模型可显著减少对大规模带标签数据集的依赖，从而增强在训练分布之外的泛化能力。
• 现有基础模型（如 CLIP）在地球监测任务上表现欠佳，原因在于其训练数据不匹配（如地面级RGB图像与高空多光谱影像的差异）。
• 所提出的基准包含8个以上已确立的数据集，涵盖农业、水质、甲烷检测和洪水制图等领域，每个数据集均提供带标签样本和明确的评估协议。
• 可持续实践（如使用可再生能源供电的数据中心和高效模型设计）可将训练排放减少高达50倍，从而缓解环境成本。
• 社区协作对于识别数据覆盖范围与分辨率中的偏差至关重要，特别是在高分辨率或高频重访影像获取受限的地区。