[论文解读] MultiEarth 2023 -- Multimodal Learning for Earth and Environment Workshop and Challenge

Miriam Cha, Gregory Angelides+7 more|arXiv (Cornell University)|Jun 7, 2023

Seismology and Earthquake Studies被引用 4

一句话总结

本论文介绍了 MultiEarth 2023，这是一个聚焦于地球与环境监测的多模态遥感的 CVPR 研讨会及挑战赛，特别关注亚马孙雨林地区。该挑战赛提出了四个子任务——火灾检测、毁林估算、环境趋势预测以及 SAR 到光学图像的转换，基于一个经过筛选的、时间对齐的哨兵-1、哨兵-2、陆地卫星 5 和陆地卫星 8 遥感影像数据集，其中包含毁林和火灾标签，从而能够对多种环境条件下用于生态监测的多模态学习模型进行稳健的基准测试。

ABSTRACT

The Multimodal Learning for Earth and Environment Workshop (MultiEarth 2023) is the second annual CVPR workshop aimed at the monitoring and analysis of the health of Earth ecosystems by leveraging the vast amount of remote sensing data that is continuously being collected. The primary objective of this workshop is to bring together the Earth and environmental science communities as well as the multimodal representation learning communities to explore new ways of harnessing technological advancements in support of environmental monitoring. The MultiEarth Workshop also seeks to provide a common benchmark for processing multimodal remote sensing information by organizing public challenges focused on monitoring the Amazon rainforest. These challenges include estimating deforestation, detecting forest fires, translating synthetic aperture radar (SAR) images to the visible domain, and projecting environmental trends. This paper presents the challenge guidelines, datasets, and evaluation metrics. Our challenge website is available at https://sites.google.com/view/rainforest-challenge/multiearth-2023.

研究动机与目标

• 通过整合多种遥感数据源，推动用于环境监测的多模态表征学习。
• 通过可扩展的机器学习方法，应对亚马孙雨林地区毁林和野火等关键生态挑战。
• 通过整理包含时间序列对齐的 SAR、光学影像以及毁林和火灾事件标注的连续数据集，建立公开的多模态遥感基准。
• 通过标准化的度量指标和挑战规程，实现在多样化环境条件下的模型稳健评估。
• 通过共享的挑战框架和开放的数据基础设施，促进地球科学家与机器学习研究人员之间的协作。

提出的方法

• 该挑战赛使用多模态数据集，结合哨兵-1（SAR）、哨兵-2、陆地卫星 5 和陆地卫星 8 的影像，SAR 与光学影像对的时间对齐在 7 天以内。
• 在 SAR 到 EO 图像转换任务中，模型需根据单个 SAR 输入（VV 和 VH 波段）生成三种可能的 RGB 光学图像（B4、B3、B2 波段），并基于空间和时间对齐进行条件生成。
• 图像转换的评估使用一种度量方法，计算生成图像与真实 EO 图像之间最小 L2 距离的总和：$\sum_{j} \min_{i} \| f(\mathbf{x})_i - \mathbf{y}_j \| $，以促进图像保真度与多样性。
• 参赛者需为 5,000 个测试样本生成 15,000 幅输出图像（每张 SAR 输入生成 3 幅），并遵循特定的文件命名规则和数据格式标准（NetCDF 或 TIFF，数据类型为 uint16）。
• 该数据集包含 5,000 幅 SAR 图像（2,500 幅 VV 和 2,500 幅 VH），附带地理坐标和时间戳，支持时间序列建模。
• 提供公开 API 和教程，协助研究人员完成数据检索、筛选和处理，确保可复现性与访问便捷性。

实验结果

研究问题

• RQ1 多模态深度学习模型在融合 SAR 和光学遥感数据时，检测森林火灾的效率如何？
• RQ2 在不同天气和光照条件下，模型利用多模态遥感输入准确估算毁林的程度有多大？
• RQ3 生成式模型能否从 SAR 输入中学习合成出真实、多样且时间一致的光学图像？
• RQ4 模型利用历史多模态时间序列数据预测亚马孙雨林未来环境状态的能力如何？
• RQ5 最先进多模态表征学习模型在应对地球观测数据独特挑战（如传感器异质性和时间错位）方面的表现如何？

主要发现

• MultiEarth 2023 挑战赛提供了一个全面的基准数据集，包含来自哨兵-1、哨兵-2、陆地卫星 5 和陆地卫星 8 的时间对齐多模态遥感数据，覆盖亚马孙雨林地区，并具备连续的时间覆盖。
• 该数据集包含 5,000 个测试样本，其中配对的 SAR 与光学影像每张 SAR 图像平均关联三幅在 7 天内采集的 EO 图像。
• SAR 到 EO 图像转换子任务要求为每张 SAR 输入生成三幅不同且高保真的光学图像，评估基于最小距离度量，兼顾准确性和多样性。
• 该挑战支持两种数据格式——NetCDF 和 TIFF，采用标准化的命名约定和数据类型（uint16），以确保模型评估的一致性。
• 该数据集包含毁林和森林火灾的真实标签，支持使用 F1 分数、IoU 和像素准确率等指标对关键生态任务的性能进行评估。
• 提供公开 API 和教程，以促进数据访问与处理，降低地球观测与机器学习研究人员的参与门槛。