[论文解读] PreDiff: Precipitation Nowcasting with Latent Diffusion Models

Zhihan Gao, Xingjian Shi+7 more|arXiv (Cornell University)|Jul 19, 2023

Meteorological Phenomena and Simulations被引用 29

一句话总结

PreDiff 使用条件潜在扩散模型进行概率性降水近似预报，并引入知识对齐机制以在采样阶段强制领域特定的物理约束。

ABSTRACT

Earth system forecasting has traditionally relied on complex physical models that are computationally expensive and require significant domain expertise. In the past decade, the unprecedented increase in spatiotemporal Earth observation data has enabled data-driven forecasting models using deep learning techniques. These models have shown promise for diverse Earth system forecasting tasks but either struggle with handling uncertainty or neglect domain-specific prior knowledge, resulting in averaging possible futures to blurred forecasts or generating physically implausible predictions. To address these limitations, we propose a two-stage pipeline for probabilistic spatiotemporal forecasting: 1) We develop PreDiff, a conditional latent diffusion model capable of probabilistic forecasts. 2) We incorporate an explicit knowledge alignment mechanism to align forecasts with domain-specific physical constraints. This is achieved by estimating the deviation from imposed constraints at each denoising step and adjusting the transition distribution accordingly. We conduct empirical studies on two datasets: N-body MNIST, a synthetic dataset with chaotic behavior, and SEVIR, a real-world precipitation nowcasting dataset. Specifically, we impose the law of conservation of energy in N-body MNIST and anticipated precipitation intensity in SEVIR. Experiments demonstrate the effectiveness of PreDiff in handling uncertainty, incorporating domain-specific prior knowledge, and generating forecasts that exhibit high operational utility.

研究动机与目标

• 在降水近景预报中处理不确定性和多模态预测。
• 开发一个用于概率预报的条件潜在扩散模型（PreDiff）。
• 通过知识对齐机制引入领域知识，在采样过程中强制执行物理约束。
• 在合成的 N-body MNIST 和真实的 SEVIR降水数据集上展示性能。

提出的方法

• 训练按帧的变分自编码器（VAE）将像素空间映射到潜在空间。
• 在潜在空间中使用条件潜在扩散模型（Earthformer-UNet 主干）来去噪并预测未来潜在变量。
• 通过 p_theta(z_t-1|z_t,z_cond) 在 z_t 条件化 z_cond 下预测去噪变换 z_t-1。
• 引入知识对齐网络 U_phi，用于估计约束函数 F，并在能量引导项（式 (Eq. 5)）下使用 p_theta,phi(...) 修改去噪变换。
• 将对齐建立在物理先验基础上，如能量守恒（N-body MNIST）或预测降水强度（SEVIR）。
• 训练分两阶段：在潜在空间训练 LDM，然后训练轻量级对齐网络，而不重新训练 LDM。

实验结果

研究问题

• RQ1 潜在扩散模型是否能捕捉最近短期近景预报中的多种可信未来天气情景？
• RQ2 在采样阶段注入领域特定先验知识是否提高了预报的物理合理性与实际应用价值？
• RQ3 在合成和真实数据集上，PreDiff 与最先进的确定性和概率性时空预测基线相比如何？
• RQ4 知识对齐对预测质量和约束遵循在诸如能量守恒和降水强度等任务中的影响？
• RQ5 知识对齐插件在不同领域是否无需重新训练核心模型就具有通用性？

主要发现

• PreDiff 在 N-body MNIST 的视频预测指标和能量守恒准确性方面达到最新水平。
• 在 SEVIR 上，PreDiff 具有较强的感知质量（FVD）和有竞争力的 CSI 指标，PreDiff-KA 提高了约束对齐。
• 知识对齐（PreDiff-KA）在遵循物理约束（能量守恒）方面有显著改善，同时对保真度的影响适度。
• 潜在的 Earthformer-UNet 主干在扩散过程中的时空建模稳定且有效。
• 知识对齐可以分开训练并在推理时插入，而无需重新训练核心模型。