[论文解读] Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast

Kaifeng Bi, Lingxi Xie+4 more|arXiv (Cornell University)|Nov 3, 2022

Meteorological Phenomena and Simulations被引用 123

一句话总结

Pangu-Weather 提出一个3D Earth-Specific Transformer (3DEST) 和分层时间聚合，提供快速高分辨率全球天气预报，在准确性上超越传统的NWP方法。

ABSTRACT

In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ imes0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

研究动机与目标

• 使用 ERA5 再分析数据建立全球天气预报的以数据驱动的框架。
• 开发一个整合高度信息（压力层）的输入输出的3D模型。
• 通过分层时间聚合策略提高中期预报的准确性。
• 展示对极端天气预报和大成员集合的适用性。
• 证明基于 AI 的预测在高空间分辨率下可以优于传统的 NWP。

提出的方法

• 使用 ERA5 数据（训练 1979–2017，验证 2019，测试 2018/2020/2021），分辨率 0.25°×0.25°，13 个压力层和 4 个地表变量。
• 引入 3D Earth-Specific Transformer (3DEST)，处理 3D 天气状态并使用 patch embedding/recovery。
• 引入 Earth-specific 位置偏置，以考虑注意力机制中的纬度和高度变化。
• 应用受 Swin-transformer 启发的 shift-ed window 注意力，以在建模 3D 数据的同时控制计算成本。
• 通过分层时间聚合实现，通过为 1h、3h、6h、24h 训练独立模型来减少迭代预报误差。
• 在华为云 GPU 集群上训练部署，拥有 192 NVIDIA Tesla-V100 GPU，单张 GPU 的推理时间约为 1400 ms。

实验结果

研究问题

• RQ1 AI 基方法是否在多个预报时长和因子（地势势能、湿度、风、温度等）上超越最先进的 NWP 的准确性？
• RQ2 将 3D（高度）信息和地球感知偏置纳入是否比 2D 方法改进 AI 天气预报？
• RQ3 分层时间聚合是否减少中期预报的累计误差，并实现对极端天气和集合预报的可靠性？
• RQ4 在多 GPU 集群上大规模 3D transformer 天气模型的实际计算成本和可扩展性如何？

主要发现

• Pangu-Weather 在所有因子和从 1 小时到 1 周的时长范围内均优于运行中的 IFS 和 FourCastNet（例如，5 天 Z500 的 RMSE = 296.7，单次预报）。
• 推理成本在单张 GPU 上约 1400 ms，远快于传统 NWP 系统。
• 达到 0.25°×0.25° 的空间分辨率，13 个压力层和 5 个上空/4 个地表变量，支持高保真全球预报。
• 3D Earth-Specific Transformer (3DEST) 与 Earth-specific positional bias 有效捕捉高度和纬度相关模式，提升预测准确性。
• 分层时间聚合通过使用 1h、3h、6h、24h 时长的模型，减少累计预报误差，提高中期预报的可靠性。
• Pangu-Weather 展现出对极端天气预报和大规模成员集合情景的可迁移性，具有快速推理。