[论文解读] The World as a Graph: Improving El Niño Forecasts with Graph Neural Networks

Salva Rühling Cachay, Emma Erickson+6 more|arXiv (Cornell University)|Apr 11, 2021

Climate variability and models参考文献 47被引用 10

一句话总结

本文提出 Graphiño，这是首个基于图神经网络（GNN）的季节性厄尔尼诺预测模型，能够联合学习全球空间连通性并预测海洋尼诺指数（ONI）。通过自适应图结构对大规模大气相互作用进行建模，Graphiño 在未来六个月内的预测中优于最先进深度学习模型，同时通过学习到的、具有物理意义的连接关系提升了可解释性。

ABSTRACT

Deep learning-based models have recently outperformed state-of-the-art seasonal forecasting models, such as for predicting El Niño-Southern Oscillation (ENSO). However, current deep learning models are based on convolutional neural networks which are difficult to interpret and can fail to model large-scale atmospheric patterns. In comparison, graph neural networks (GNNs) are capable of modeling large-scale spatial dependencies and are more interpretable due to the explicit modeling of information flow through edge connections. We propose the first application of graph neural networks to seasonal forecasting. We design a novel graph connectivity learning module that enables our GNN model to learn large-scale spatial interactions jointly with the actual ENSO forecasting task. Our model, \graphino, outperforms state-of-the-art deep learning-based models for forecasts up to six months ahead. Additionally, we show that our model is more interpretable as it learns sensible connectivity structures that correlate with the ENSO anomaly pattern.

研究动机与目标

• 为解决卷积神经网络（CNN）在建模厄尔尼诺-南方涛动（ENSO）预测中关键的大规模、非局部大气模式方面的局限性。
• 开发一种基于图神经网络（GNN）的方法，以比局部、平移等变卷积更有效地捕捉气候数据中的全局空间依赖性。
• 引入一种新颖的图结构学习模块，实现无需预定义空间图的气候连通性端到端学习。
• 提升季节性 ENSO 预测的预测准确性和模型可解释性，尤其针对最多六个月的预报提前期。
• 通过消除对每个季节和提前期分别建模的需求，降低计算和模型复杂度，与以往深度学习系统不同。

提出的方法

• 该模型采用带有残差连接和跳跃知识的图卷积网络（GCN），以缓解过平滑问题并提升节点表征学习能力。
• 提出一种新颖的图连通性学习模块，能从输入数据中动态学习邻接矩阵（即气候区域间的连接关系），实现对大规模相互作用的自适应建模。
• 节点特征源自海表温度异常及其他海洋变量，陆地区域被屏蔽以提升效率和相关性。
• 通过聚合（均值或求和）节点嵌入生成图级表征，随后通过一个回归头预测 ONI 指数。
• 模型在历史气候数据上使用标准回归损失进行端到端训练，注重对各类 ENSO 事件的泛化能力。
• 该架构实现为 Graphiño 并开源，以支持可复现性及气候 GNN 领域的未来研究。

实验结果

研究问题

• RQ1 图神经网络能否有效建模对 ENSO 预测至关重要的大规模、非局部大气与海洋相互作用？
• RQ2 在季节性气候建模中，可学习的图连通性结构是否相比固定或手工设计的图结构能提升预测准确性？
• RQ3 GNN 是否能在 ENSO 预测中超越最先进深度学习模型（如 CNN），特别是在最多六个月的预报提前期？
• RQ4 GNN 在在多大程度上可通过学习具有物理意义的气候区域连接关系来增强模型可解释性？
• RQ5 单一 GNN 模型能否在不同季节和提前期之间实现泛化，从而减少对多个任务特定模型的需求？

主要发现

• Graphiño 在未来六个月内的预测中优于最先进深度学习驱动的 ENSO 预测模型，展现出更优的预测准确性。
• 该模型以仅 1/12 的模型数量达到竞争性性能，而先前的 SOTA 方法需为每个季节和提前期分别训练一个模型。
• 学习到的图连通性结构与已知的 ENSO 动力学（如太平洋沃克环流和远程遥相关）相关，增强了模型的可解释性。
• Graphiño 在不依赖平移等变性的情况下成功捕捉了全球尺度模式，而 CNN 由于对位置相关气候信号的处理困难而表现受限。
• 该模型在罕见极端 ENSO 事件上保持了强劲性能，表明通过引入定制损失函数有望进一步提升性能。
• 通过均值和求和聚合实现的图池化方法表现稳健，其中均值聚合在各项实验中均展现出一致的优异性能。