[论文解读] Rapid Deforestation and Burned Area Detection using Deep Multimodal Learning on Satellite Imagery

Gábor Fodor, Marcos V. Conde|arXiv (Cornell University)|Jul 10, 2023

Remote-Sensing Image Classification被引用 5

一句话总结

本文提出了一种深度多模态学习框架，融合来自哨兵（Sentinel）、陆地卫星（Landsat）、Suomi NPP/JPSS VIIRS 和 MODIS 的多光谱与雷达（SAR）卫星影像，以检测亚马逊雨林中的森林砍伐和烧毁区域。通过在多时相、多传感器数据上训练单一卷积神经网络，并结合空间与时间数据增强以及卫星输入丢弃（dropout），该模型在未见测试数据上实现了 90.8% 的像素准确率、0.876 的 F1 分数和 0.799 的 IoU，优于 MultiEarth 2023 基准测试中的先前方法。

ABSTRACT

Deforestation estimation and fire detection in the Amazon forest poses a significant challenge due to the vast size of the area and the limited accessibility. However, these are crucial problems that lead to severe environmental consequences, including climate change, global warming, and biodiversity loss. To effectively address this problem, multimodal satellite imagery and remote sensing offer a promising solution for estimating deforestation and detecting wildfire in the Amazonia region. This research paper introduces a new curated dataset and a deep learning-based approach to solve these problems using convolutional neural networks (CNNs) and comprehensive data processing techniques. Our dataset includes curated images and diverse channel bands from Sentinel, Landsat, VIIRS, and MODIS satellites. We design the dataset considering different spatial and temporal resolution requirements. Our method successfully achieves high-precision deforestation estimation and burned area detection on unseen images from the region. Our code, models and dataset are open source: https://github.com/h2oai/cvpr-multiearth-deforestation-segmentation

研究动机与目标

• 为利用遥感技术解决亚马逊雨林中大规模、难以进入区域的森林砍伐与野火检测挑战。
• 开发一种稳健且可泛化的深度学习模型，能够处理云层覆盖、数据缺失以及多传感器在时间与光谱上的变化。
• 创建并发布一个经过筛选的、多传感器卫星数据集，用于森林砍伐与火灾检测研究。
• 利用多模态卫星影像实现对砍伐与烧毁区域的高精度像素级分割。
• 证明利用低分辨率、时间密集型卫星数据实现全球尺度火灾检测的可行性。

提出的方法

• 该方法采用单一深度神经网络，基于哨兵-1、哨兵-2、陆地卫星-8 等来源的多通道、多时相卫星图像进行训练，图像波段选择在每个真实标注掩膜的 ±2 个月窗口内。
• 采用基于网格的分块空间交叉验证来模拟测试数据，避免因训练集中存在高时空相关性而导致的数据泄露。
• 使用二元交叉熵损失函数，配合 AdamW 优化器与余弦退火学习率调度策略，在 10 个周期内进行训练，数据增强方式包括水平/垂直翻转、转置以及 90° 旋转。
• 在训练过程中应用卫星输入丢弃，随机遮蔽最多 50% 的可用图像日期，以提升模型对测试查询中缺失数据的鲁棒性。
• 对于火灾检测，采用时间验证划分，将 2020 年设为验证集，并将所有数据上采样至与 Fire CCI 烧毁区域产品分辨率一致。
• 在二值化前对原始预测结果进行模型集成，相较于单一模型，性能得到提升。

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效整合多传感器、多时相的卫星数据，在存在云层覆盖与数据缺失的情况下，实现对亚马逊地区森林砍伐的高精度检测？
• RQ2 在训练过程中应用卫星输入丢弃，如何提升模型对未见、数据稀疏测试区域的泛化能力？
• RQ3 低分辨率、高时间分辨率的火灾检测数据（如 FIRMS、Fire CCI）在多大程度上可被用于训练准确的全球火灾分割模型？
• RQ4 一个在多种卫星波段上训练的单一深度神经网络，能否在无需为每个传感器单独建模的情况下，实现森林砍伐分割的最先进性能？
• RQ5 在多模态森林砍伐检测中，模型集成与预二值化融合带来的性能增益有多大？

主要发现

• 最佳单模型在 MultiEarth 2023 数据集的未见测试集上实现了 90.4% 的像素准确率、0.871 的 F1 分数以及 0.792 的交并比（IoU）。
• 通过集成多个具有微小结构差异的模型，性能进一步提升至 90.8% 的像素准确率、0.876 的 F1 分数以及 0.799 的 IoU。
• 该模型在 MultiEarth 2023 森林砍伐分割挑战赛中表现优于所有其他参赛方法，综合排名第二。
• 在使用南美洲 8 年卫星数据训练后，模型在火灾检测任务中实现了像素级 AUC 0.95，采用时间验证与分辨率对齐策略。
• 所提出的数据集与代码库已公开发布于 GitHub，支持可复现性，并可扩展至其他区域与应用场景。
• 卫星输入丢弃的使用显著提升了模型对缺失数据的鲁棒性，优于未使用该正则化方法的模型。