[论文解读] The Compatibility between the Pangu Weather Forecasting Model and Meteorological Operational Data

Wencong Cheng, Yan Yan+4 more|arXiv (Cornell University)|Aug 7, 2023

Meteorological Phenomena and SimulationsEarth and Planetary Sciences被引用 3

一句话总结

本研究评估了开源 Pangu-Weather 模型与多种 NWP 系统的业务气象分析之间的兼容性。通过使用 ERA5、ECMWF-IFS、NOAA-GFS 及合并初始场的案例研究，结果表明该模型在不同输入下均保持稳定的预报性能，且提升局部初始场质量可显著提高区域预报精度，证实其具备良好的泛化能力与实际业务应用价值。

ABSTRACT

Recently, multiple data-driven models based on machine learning for weather forecasting have emerged. These models are highly competitive in terms of accuracy compared to traditional numerical weather prediction (NWP) systems. In particular, the Pangu-Weather model, which is open source for non-commercial use, has been validated for its forecasting performance by the European Centre for Medium-Range Weather Forecasts (ECMWF) and has recently been published in the journal "Nature". In this paper, we evaluate the compatibility of the Pangu-Weather model with several commonly used NWP operational analyses through case studies. The results indicate that the Pangu-Weather model is compatible with different operational analyses from various NWP systems as the model initial conditions, and it exhibits a relatively stable forecasting capability. Furthermore, we have verified that improving the quality of global or local initial conditions significantly contributes to enhancing the forecasting performance of the Pangu-Weather model.

研究动机与目标

• 评估 Pangu-Weather 模型是否能够有效使用来自不同 NWP 系统的业务分析作为初始条件。
• 评估该模型在使用不同全球和区域业务分析作为输入时的预报性能。
• 探究提升局部初始条件质量是否能提高模型的区域预报精度。
• 确定模型性能是否局限于特定输入数据（如 ERA5），还是可在多种 NWP 系统间泛化。
• 通过验证与真实世界业务数据的兼容性，支持数据驱动天气模型的实际部署。

提出的方法

• 采用开源的 Pangu-Weather 模型推理引擎进行案例研究。
• 使用四种业务 NWP 分析作为初始条件：ERA5、ECMWF-IFS、NOAA-GFS，以及一个融合数据集（ecmfpadGFS）。
• 针对每组初始条件，生成 240 小时的全球和区域预报。
• 通过标准气象变量（如 MSLP、T2、U10、V10、Q500、T500、U500、V500、Z500）将模型输出与对应 NWP 系统预报进行对比。
• 通过融合 ECMWF-IFS（东亚区域）与 NOAA-GFS（全球其余区域）数据，构建组合初始条件数据集（ecmfpadGFS），以检验局部条件的影响。
• 采用空间相关系数和均方根误差指标，在多个变量和区域上评估模型性能。

实验结果

研究问题

• RQ1 当使用不同 NWP 系统的业务分析作为初始条件时，Pangu-Weather 模型能否生成可靠的预报？
• RQ2 模型的预报性能是否显著依赖于初始条件的来源？
• RQ3 提升局部初始条件质量在多大程度上能提高模型的区域预报精度？
• RQ4 模型性能是否仅限于训练数据（如 ERA5）的分布，还是可在多种 NWP 系统间泛化？
• RQ5 当使用高质量业务数据初始化时，该模型能否优于或匹配传统 NWP 系统？

主要发现

• 当使用 ECMWF-IFS、NOAA-GFS 和 ERA5 的业务分析作为初始条件时，Pangu-Weather 模型的预报结果与原始 NWP 产品相当或更优。
• 提升全球初始条件质量可显著改善模型的整体预报性能。
• 当通过融合 ECMWF-IFS（东亚）与 NOAA-GFS 数据提升局部初始条件质量时，模型的区域预报精度显著提高，尤其在 MSLP 和 T2 等变量上表现突出。
• 当使用与训练数据相似的初始条件（如 ECMWF-IFS）时，模型表现最佳，表明其对训练所用 NWP 系统特征具有一定程度的适应性。
• 模型在不同业务数据源之间表现出强大的泛化能力，表明其有潜力集成到多样化的业务预报工作流中。
• 本研究证实，优化局部初始条件比提升全球初始条件更能有效提升区域预报性能，凸显了一条切实可行的性能提升路径。