[论文解读] SwinVRNN: A Data-Driven Ensemble Forecasting Model via Learned Distribution Perturbation

Yuan Hu, Lei Chen+2 more|arXiv (Cornell University)|May 26, 2022

Meteorological Phenomena and Simulations被引用 4

一句话总结

SwinVRNN 是一种数据驱动的随机天气预报模型，结合基于 Swin Transformer 的循环神经网络（SwinRNN）与基于变分推断的扰动模块，以学习空间自适应的多变量高斯噪声分布，实现集合预报。该模型在 WeatherBench 数据集上达到最先进性能，在所有长达五天的预报时效内，2 米温度和每 6 小时总降水量的预报精度均超过操作型 ECMWF IFS 模型。

ABSTRACT

Data-driven approaches for medium-range weather forecasting are recently shown extraordinarily promising for ensemble forecasting for their fast inference speed compared to traditional numerical weather prediction (NWP) models, but their forecast accuracy can hardly match the state-of-the-art operational ECMWF Integrated Forecasting System (IFS) model. Previous data-driven attempts achieve ensemble forecast using some simple perturbation methods, like initial condition perturbation and Monte Carlo dropout. However, they mostly suffer unsatisfactory ensemble performance, which is arguably attributed to the sub-optimal ways of applying perturbation. We propose a Swin Transformer-based Variational Recurrent Neural Network (SwinVRNN), which is a stochastic weather forecasting model combining a SwinRNN predictor with a perturbation module. SwinRNN is designed as a Swin Transformer-based recurrent neural network, which predicts future states deterministically. Furthermore, to model the stochasticity in prediction, we design a perturbation module following the Variational Auto-Encoder paradigm to learn multivariate Gaussian distributions of a time-variant stochastic latent variable from data. Ensemble forecasting can be easily achieved by perturbing the model features leveraging noise sampled from the learned distribution. We also compare four categories of perturbation methods for ensemble forecasting, i.e. fixed distribution perturbation, learned distribution perturbation, MC dropout, and multi model ensemble. Comparisons on WeatherBench dataset show the learned distribution perturbation method using our SwinVRNN model achieves superior forecast accuracy and reasonable ensemble spread due to joint optimization of the two targets. More notably, SwinVRNN surpasses operational IFS on surface variables of 2-m temperature and 6-hourly total precipitation at all lead times up to five days.

研究动机与目标

• 为解决现有数据驱动天气预报模型在集合预报中表现不佳的问题，这些模型通常依赖于固定或启发式扰动方法。
• 开发一种随机天气预报模型，通过端到端训练联合优化确定性预测与不确定性量化。
• 探究学习到的空间自适应扰动是否相比固定分布或蒙特卡洛丢弃方法，能提升集合预报的发散性与预报精度。
• 证明单一深度学习模型结合变分扰动模块，可在关键地表变量的预报精度上超越操作型 NWP 系统（如 ECMWF IFS）。

提出的方法

• 该模型采用基于 Swin Transformer 块的 SwinRNN 主干网络，结合多尺度解码器与残差预测，以实现长程时间与空间建模。
• 一个受变分自编码器（VAE）启发的扰动模块，从历史数据中学习时间可变的多变量高斯分布，作用于随机潜在变量。
• 通过在推理阶段从学习到的潜在分布中采样噪声，并将其注入 SwinRNN 的隐藏特征中，生成集合预报。
• 对比了四种扰动策略：固定分布（标准正态分布）、学习到的分布（SwinVRNN）、蒙特卡洛丢弃法以及多模型集合。
• 扰动模块联合优化重构损失与 KL 散度，以确保预测准确性和有意义的不确定性表征。
• 模型在 WeatherBench 数据集上进行训练与评估，采用中长期天气预报的标准指标。

实验结果

研究问题

• RQ1 具备学习到的空间自适应扰动策略的数据驱动模型，是否能在集合预报精度上优于固定分布和蒙特卡洛丢弃方法？
• RQ2 联合优化确定性预测与随机不确定性建模，是否能带来更好的预报技巧与更可靠的集合发散性？
• RQ3 一个结合变分扰动模块的单一深度学习模型，是否能在关键地表变量的预报精度上超越操作型 ECMWF IFS 模型？
• RQ4 与各向同性或对角噪声相比，学习到的扰动分布中包含空间协方差，是否能提升预报性能？

主要发现

• 由于联合优化了预测与不确定性建模，SwinVRNN 在预报精度与集合发散性方面均优于固定分布与蒙特卡洛丢弃方法。
• 学习到的分布扰动方法显著提升了集合预报性能，尤其在捕捉不同区域与变量间的大气不确定性空间变异性方面表现突出。
• SwinVRNN 在所有长达五天的预报时效内，均优于操作型 ECMWF IFS 模型在 2 米温度（T2M）与每 6 小时总降水量（TP）预报上的表现。
• SwinVRNN 的多模型集合进一步提升了预报技巧，表明该方法具有良好的可扩展性。
• 模型在所有评估的预报时效内均表现出一致的改进，包括训练期内，表明其具备稳健的泛化能力。
• 扰动模块有效建模了大气变量间的复杂空间相关性，其学习到的协方差矩阵结构与性能提升相互印证。