[论文解读] Robustness of AI-based weather forecasts in a changing climate

Thomas Rackow, Nikolay Koldunov+10 more|ArXiv.org|Sep 27, 2024

Meteorological Phenomena and SimulationsEarth and Planetary Sciences被引用 3

一句话总结

本研究评估了最先进的基于人工智能的天气预报模型——AIFS、GraphCast 和 Pangu-Weather——在远古气候、当前气候以及未来变暖+2.9K 情况下的鲁棒性。尽管这些模型仅使用 1979–2018 年的当前气候 ERA5 再分析数据进行训练，但在所有气候状态下均能生成具有技能的预报，表现出强大的分布外泛化能力。然而，其中两个模型在更暖的气候中表现出系统性冷偏差，而在更冷的气候中则表现出变暖偏差，这与训练数据中缺失的海洋-海冰和陆面数据有关。

ABSTRACT

Data-driven machine learning models for weather forecasting have made transformational progress in the last 1-2 years, with state-of-the-art ones now outperforming the best physics-based models for a wide range of skill scores. Given the strong links between weather and climate modelling, this raises the question whether machine learning models could also revolutionize climate science, for example by informing mitigation and adaptation to climate change or to generate larger ensembles for more robust uncertainty estimates. Here, we show that current state-of-the-art machine learning models trained for weather forecasting in present-day climate produce skillful forecasts across different climate states corresponding to pre-industrial, present-day, and future 2.9K warmer climates. This indicates that the dynamics shaping the weather on short timescales may not differ fundamentally in a changing climate. It also demonstrates out-of-distribution generalization capabilities of the machine learning models that are a critical prerequisite for climate applications. Nonetheless, two of the models show a global-mean cold bias in the forecasts for the future warmer climate state, i.e. they drift towards the colder present-day climate they have been trained for. A similar result is obtained for the pre-industrial case where two out of three models show a warming. We discuss possible remedies for these biases and analyze their spatial distribution, revealing complex warming and cooling patterns that are partly related to missing ocean-sea ice and land surface information in the training data. Despite these current limitations, our results suggest that data-driven machine learning models will provide powerful tools for climate science and transform established approaches by complementing conventional physics-based models.

研究动机与目标

• 评估仅基于当前气候数据进行训练的数据驱动型 AI 天气模型是否能够泛化至远古气候和未来更暖气候状态。
• 评估在极端气候转变下基于 AI 的预报的鲁棒性，这对气候预测和适应规划至关重要。
• 识别在气候条件改变时 AI 预报中的系统性偏差，并探究其成因。
• 确定 AI 模型在多大程度上可作为可靠工具用于气候科学，以补充传统的物理驱动模型。

提出的方法

• 使用 1979–2018 年的 ERA5 再分析数据对三种最先进的 AI 天气模型——AIFS、GraphCast 和 Pangu-Weather——进行训练，以模拟当前气候。
• 通过在三种气候状态下对 10 天中尺度的 2 米气温进行预报，评估模型性能：远古气候（1955 年）、当前气候（2023 年）和 +2.9K 更暖的未来气候（2049 年）。
• 使用均方根误差（RMSE）和偏差指标量化预报技能与漂移，按纬度余弦加权。
• 将 AI 预报与欧洲中期天气预报中心（ECMWF IFS）的业务预报进行对比，并分析偏差的空间模式。
• 通过比较不同气候状态下的模型行为，研究缺失的海洋-海冰和陆面数据的影响。
• 对每日预报进行统计平均，以确保技能和偏差估计的稳健性。

实验结果

研究问题

• RQ1 基于当前气候数据训练的 AI 天气预报模型是否能在远古气候和未来更暖气候状态下生成具有技能的预报？
• RQ2 当预报超出其训练分布时，AI 模型是否表现出系统性偏差，特别是在极端气候状态下？
• RQ3 在不同气候状态下，预报偏差的空间模式是什么？它们与训练数据中缺失的物理组件有何关联？
• RQ4 尽管仅针对短时预报进行训练，AI 模型在多大程度上能跨气候模式泛化出物理解释一致的动力学行为？
• RQ5 AI 模型在多大程度上可被可靠地用于气候预测任务，例如生成大规模集合或支持适应策略制定？

主要发现

• 所有三种 AI 模型——AIFS、GraphCast 和 Pangu-Weather——在远古气候、当前气候以及 +2.9K 更暖气候状态下，均能生成具有技能的 10 天 2 米气温预报，表明其具有强大的分布外泛化能力。
• 两个模型（AIFS 和 Pangu-Weather）在 +2.9K 更暖气候中表现出全球平均冷偏差，其预报结果向它们所训练的更冷当前气候状态漂移。
• 在远古气候中，三者中有两个模型表现出变暖偏差，表明在冷却条件下存在不对称的偏差行为。
• 空间偏差模式揭示了复杂的区域变暖和变冷趋势，特别是在海洋和极地地区，表明对海洋-海冰和陆面过程的表征不完整。
• 这些偏差与训练数据中缺失的海洋-海冰和陆面数据密切相关，凸显了当前 AI 模型设计中的关键局限。
• 尽管存在偏差，这些模型在所有气候状态下均保持了高水平的预报技能，表明 AI 模型可作为未来气候应用中物理驱动气候模型的有力补充。