[论文解读] Precipitation nowcasting with generative diffusion models

Andrea Asperti, Fabio Merizzi+4 more|arXiv (Cornell University)|Aug 13, 2023

Climate variability and models被引用 13

一句话总结

本文提出 Generative Diffusion Ensemble (GDE) 用于降水短时预报，采用 DDIM 扩散并附加后处理 U-net，在 ERA-5 数据上相对于 WF-UNet 实现性能提升。它使用 2016–2020 年数据进行训练，并在 2021 年数据上评估，采用 15 次扩散步骤。

ABSTRACT

In recent years traditional numerical methods for accurate weather prediction have been increasingly challenged by deep learning methods. Numerous historical datasets used for short and medium-range weather forecasts are typically organized into a regular spatial grid structure. This arrangement closely resembles images: each weather variable can be visualized as a map or, when considering the temporal axis, as a video. Several classes of generative models, comprising Generative Adversarial Networks, Variational Autoencoders, or the recent Denoising Diffusion Models have largely proved their applicability to the next-frame prediction problem, and is thus natural to test their performance on the weather prediction benchmarks. Diffusion models are particularly appealing in this context, due to the intrinsically probabilistic nature of weather forecasting: what we are really interested to model is the probability distribution of weather indicators, whose expected value is the most likely prediction. In our study, we focus on a specific subset of the ERA-5 dataset, which includes hourly data pertaining to Central Europe from the years 2016 to 2021. Within this context, we examine the efficacy of diffusion models in handling the task of precipitation nowcasting. Our work is conducted in comparison to the performance of well-established U-Net models, as documented in the existing literature. Our proposed approach of Generative Ensemble Diffusion (GED) utilizes a diffusion model to generate a set of possible weather scenarios which are then amalgamated into a probable prediction via the use of a post-processing network. This approach, in comparison to recent deep learning models, substantially outperformed them in terms of overall performance.

研究动机与目标

• 推动在规则网格化天气数据上使用基于扩散的生成模型进行概率性降水短时预报。
• 开发 Generative Diffusion Ensemble (GDE)，生成多个可信的未来降雨场并将其聚合为准确的预报。
• 结合额外的气象特征和条件信息，以引导扩散过程用于短期预报。
• 将扩散基础的预报与 WF-UNet 等成熟模型进行比较，并在 ERA-5 数据上展示更优的性能。

提出的方法

• 使用 Denoising Diffusion Implicit Models (DDIM)，以去噪 U-net 作为核心去噪器。
• 以分类器自由方式进行带条件训练：将过去的天气帧和辅助场与噪声输入串联。
• 将条件信息定义为过去降水量、风分量、陆海掩模和位势高度，在通道维度上进行整合。
• 采用 Generative Diffusion Ensemble (GED)，生成多个样本并对其进行平均化，或输入后处理 U-net 以产生最终的三小时预报。
• 实现一个后处理 U-net，接收十五个扩散输出（每个输出的三小时预报），并输出一个更精炼的三小时降水预报。
• 对扩散模型的噪声以 MAE 进行训练，对后处理步骤以 MSE 训练；在去归一化后使用 MSE 进行评估。
• 尝试将去噪器的 U-net 尺寸设为 [64, 128, 256, 384]，以及对噪声方差的正弦嵌入。

实验结果

研究问题

• RQ1 生成式扩散模型是否比确定性模型更好地捕捉降水短时预报的随机性？
• RQ2 对多个扩散样本取平均或使用后处理网络是否能提升短时预报的准确性？
• RQ3 对过去天气帧和辅助场进行条件化对扩散式短时预报的性能有何影响？
• RQ4 提出的 GED 方法与基于 ERA-5 的 WF-UNet 在降水短时预报上的表现有何比较？
• RQ5 扩散步数和训练设定对性能与稳定性有何影响？

主要发现

• Generative Diffusion Ensemble (GED) 方法在 ERA-5 数据集上的降水短时预报优于 WF-UNet。
• 多次扩散生成的平均值比使用单个扩散样本能给出更好的预报。
• 在扩散输出上训练的后处理 U-net 相比简单平均进一步提高了预测精度。
• 研究报告使用 15-step DDIM 扩散过程，对 3 小时前瞄的预报，在 2021 年数据上进行评估。
• 训练配置包括 batch size 2，40 个 epoch，AdamW 优化，以及对扩散噪声预测使用 MAE 损失，随后进行 10-epoch 微调。