[论文解读] Weather Prediction with Diffusion Guided by Realistic Forecast Processes

Zhanxiang Hua, Yutong He+2 more|arXiv (Cornell University)|Feb 6, 2024

Hydrological Forecasting Using AI被引用 6

一句话总结

本论文引入了一种用于天气预报的条件扩散模型，支持直接预测和迭代预测，并且可以在不重新训练的情况下整合 NWP、保持和气候指导。

ABSTRACT

Weather forecasting remains a crucial yet challenging domain, where recently developed models based on deep learning (DL) have approached the performance of traditional numerical weather prediction (NWP) models. However, these DL models, often complex and resource-intensive, face limitations in flexibility post-training and in incorporating NWP predictions, leading to reliability concerns due to potential unphysical predictions. In response, we introduce a novel method that applies diffusion models (DM) for weather forecasting. In particular, our method can achieve both direct and iterative forecasting with the same modeling framework. Our model is not only capable of generating forecasts independently but also uniquely allows for the integration of NWP predictions, even with varying lead times, during its sampling process. The flexibility and controllability of our model empowers a more trustworthy DL system for the general weather community. Additionally, incorporating persistence and climatology data further enhances our model's long-term forecasting stability. Our empirical findings demonstrate the feasibility and generalizability of this approach, suggesting a promising direction for future, more sophisticated diffusion models without the need for retraining.

研究动机与目标

• 动机：使用扩散模型 (DM) 进行天气预报，以解决深度学习模型在可靠性和灵活性方面的局限。
• 开发一个统一框架，在一个条件扩散模型内统一直接与迭代预测。
• 在采样过程中实现对 NWP、保持和气候等引导的整合，以在不重新训练的情况下提高真实感和可信度。
• 将先前观测和固定地球物理特征作为输入，并将提前期视为一个类别标签。
• 展示在低资源、灵活预测方面的潜力，且具有竞争力的性能。

提出的方法

• 建模一个条件扩 diffusion 过程，输入包括非天气常量、先前观测和目标提前期。
• 将提前期 K 作为一个类别标签，并使用无分类器引导学习先验与后验分布。
• 在扩散采样期间使用 SDEdit 风格的引导来注入输入预测，以在可信度与真实感之间取得平衡。
• 采用 DDIM 采样实现高效推断，并采用带有经纬度权重的 MSE 损失的扩散目标。
• 在一个统一框架中通过在给定最近历史时的条件独立性假设，将直接与迭代预测结合起来。
• 整合无条件和有条件分布，以实现灵活的引导而无需重新训练。

Figure 1: Illustration of the proposed three types of guidance that are relevant to weather forecasting using diffusion models. Our model is capable of incorporating all three types of guidance to facilitate more realistic weather forecasting with diffusion models.

实验结果

研究问题

• RQ1 单个条件扩散模型是否能够同时支持直接天气预报和迭代天气预报？
• RQ2 如何在不重新训练的情况下将 NWP、保持和气候引导整合到基于扩散的预报中？
• RQ3 纳入先前观测和固定地球物理变量是否能提升长期预报的稳定性和真实感？
• RQ4 引导强度和采样步数对预报准确性与可信度有何影响？
• RQ5 基于扩散的方法在短到中期预报与传统基线相比如何？

主要发现

• DM 直接预测与 DM 迭代在 Z500 和 T850 场的 RMSE 上超过保持和每周气候基线，时间长度达到 6–7 天。
• 在较长提前期，DM 直接预测略优于 DM 迭代；而 DM 迭代在更早的预报中可能更好。
• DM 模型在某些范围的 ACC 分数与每周气候相当，并在某些范围与 T42 相竞争，且在计算成本方面具有优势。
• 通过 NWP（T42、T63）、保持和气候的引导可以提升预报技能，特别是在采样期间对引导扰动进行调节时。
• SDEdit 风格的引导实现了灵活的可信度设置，允许在不重新训练的情况下更强地与可信预测对齐或进行更多探索。
• 本任务的最优 DDIM 采样步数相对较小（约 12 步），较低的无分类器引导权重有助于维持性能。

Figure 2: The overall diffusion model network architecture.