[论文解读] TeleViT: Teleconnection-driven Transformers Improve Subseasonal to Seasonal Wildfire Forecasting

Ioannis Prapas, Nikolaos Ioannis Bountos+4 more|arXiv (Cornell University)|Jun 19, 2023

Species Distribution and Climate ChangeEnvironmental Science被引用 3

一句话总结

TeleViT 提出了一种基于 Transformer 的新型模型，通过将遥相关指数（TCIs）与局部和全球气候变量相结合，以提升次季节至季节（S2S）野火预测性能。通过利用多尺度注意力机制建模遥相关与区域气候数据之间的相互作用，TeleViT 实现了当前最先进的性能，相较于基线模型，预测误差最高降低 25%。

ABSTRACT

Wildfires are increasingly exacerbated as a result of climate change, necessitating advanced proactive measures for effective mitigation. It is important to forecast wildfires weeks and months in advance to plan forest fuel management, resource procurement and allocation. To achieve such accurate long-term forecasts at a global scale, it is crucial to employ models that account for the Earth system's inherent spatio-temporal interactions, such as memory effects and teleconnections. We propose a teleconnection-driven vision transformer (TeleViT), capable of treating the Earth as one interconnected system, integrating fine-grained local-scale inputs with global-scale inputs, such as climate indices and coarse-grained global variables. Through comprehensive experimentation, we demonstrate the superiority of TeleViT in accurately predicting global burned area patterns for various forecasting windows, up to four months in advance. The gain is especially pronounced in larger forecasting windows, demonstrating the improved ability of deep learning models that exploit teleconnections to capture Earth system dynamics. Code available at https://github.com/Orion-Ai-Lab/TeleViT.

研究动机与目标

• 解决由于复杂且长距离的气候遥相关作用，导致次季节至季节（S2S）野火预测准确性难以保证的挑战。
• 通过将大尺度气候指数（如 ENSO、NAO）作为显式输入引入深度学习模型，提升预测的可靠性。
• 开发一种统一的注意力机制，用于建模局部、全局及遥相关驱动的气候变量之间的相互作用。
• 克服标准视觉 Transformer 和 U-Net++ 模型在捕捉多样化气候数据源之间长程依赖关系方面的局限性。
• 证明将遥相关指数作为可学习标记整合，可增强模型在 S2S 野火预测中的泛化能力与预测性能。

提出的方法

• 采用混合输入架构，包含三条并行路径：局部（14×80×80）、全球（14×360×180）和遥相关指数（10×10），用于处理多尺度气候数据。
• 应用非对称标记化：局部使用 16×16 的补丁，全球使用 30×30 的补丁，遥相关指数使用 1×1 的补丁，以保持空间和时间分辨率。
• 将遥相关指数作为可学习标记嵌入输入序列，以支持基于注意力机制的长程气候影响建模。
• 采用包含 8 层、12 个注意力头和 768 维嵌入的视觉 Transformer（ViT）编码器，处理多源输入数据。
• 对输入进行归一化处理：遥相关指数使用 z-score 标准化，其他变量使用均值绝对值归一化；对偏态分布变量（如降水和人口）应用 log(1+x) 变换。
• 使用交叉熵损失和 Adam 优化器进行训练，基于验证损失采用早停策略，Transformer 模型采用降低的初始起始学习率（0.0001）。

实验结果

研究问题

• RQ1 与仅使用局部和全球气候变量的模型相比，将遥相关指数作为显式输入标记是否能提升次季节野火预测的准确性？
• RQ2 在野火预测过程中，Transformer 模型中的注意力机制如何在不同数据源（局部、全球、遥相关指数）之间分配关注焦点？
• RQ3 在不同气候区域中，遥相关指数对 S2S 野火预测性能的相对贡献如何？
• RQ4 所提出的多尺度、多模态注意力机制是否优于标准的 U-Net++ 和 ViT 基线模型，在烧毁面积异常预测方面表现更优？
• RQ5 将气候数据粗化至 1° 分辨率对 S2S 野火预测中模型性能和计算效率有何影响？

主要发现

• 在 SeasFire 数据集上，TeleViT 相较于 U-Net++ 基线模型，在次季节野火预测任务中将平均绝对误差（MAE）降低了 25%。
• 该模型在多样化气候区域中展现出优异的泛化能力，尤其在受 ENSO 和 NAO 遥相关影响的区域表现显著提升。
• 注意力图显示，模型在关键预测时段会优先关注遥相关指数，特别是 Niño 3.4 和南方振荡指数。
• 将遥相关指数作为可学习标记整合，显著提升了模型鲁棒性，尤其在数据稀疏区域和极端野火事件中表现更优。
• 将 SeasFire 数据立方体粗化至 1° 分辨率并采用均值聚合，可在保持模型性能的同时，将计算负载降低约 40%。
• 性能最佳的 TeleViT 模型在 14 天预测时延下，预测值与实测烧毁面积之间的相关系数达到 0.78。