[论文解读] "What is a realistic forecast?" Assessing data-driven weather forecasts, a journey from verification to falsification

Zied Ben Bouallègue|arXiv (Cornell University)|Jan 31, 2026

Meteorological Phenomena and Simulations被引用 0

一句话总结

本文将基于数据驱动的天气预报定义三种现实主义类型——功能现实主义、结构现实主义与物理现实主义，并提出一个从验证到证伪的工作流，用以评估现实性与对基于ML的预报的信任。

ABSTRACT

The artificial intelligence revolution is fueling a paradigm shift in weather forecasting: forecasts are generated with machine learning models trained on large datasets rather than with physics-based numerical models that solve partial differential equations. This new approach proved successful in improving forecast performance as measured with standard verification metrics such as the root mean squared error. At the same time, the realism of data-driven weather forecasts is often questioned and considered as an Achilles' heel of machine learning models. How 'forecast realism' can be defined and how this forecast attribute can be assessed are the two questions simultaneously addressed here. Inspired by the seminal work of Murphy (1993) on the definition of 'forecast goodness', we identify 3 types of realism and discuss methodological paths for their assessment. In this framework, falsification arises as a complementary process to verification and diagnostics when assessing data-driven weather models.

研究动机与目标

• 澄清如何为数据驱动的天气预报定义现实主义。
• 识别并归类三种现实主义类型：功能现实主义、结构现实主义和物理现实主义。
• 提出一个工作流，涵盖从验证到诊断再到证伪，以评估现实性和信任。

提出的方法

• 定义三种现实主义类型（功能、结构、物理），并讨论每种如何被测量或评估。
• 描述现实主义类型与验证/诊断之间的关系。
• 引入一个证伪框架，在物理知识的基础上对预报进行测试，以确保合理性。
• 勾勒一个典型的数据驱动预报评估旅程，包含验证、诊断和证伪。
• 将现实主义概念与预报价值、模型验证和可解释性联系起来。

实验结果

研究问题

• RQ1 如何为数据驱动的天气预报定义现实主义？
• RQ2 在实践中如何测量和诊断功能现实主义、结构现实主义和物理现实主义？
• RQ3 在评估基于ML的预报时，证伪在验证中的作用是什么？
• RQ4 一个典型的数据驱动预报评估旅程应如何构建，以回答“预报是否现实？”

主要发现

• 功能现实主义通过衡量预报与观测之间距离的评分规则来评估。
• 结构现实主义通过对比预报统计量与观测的诊断性度量（如偏差、变异性）来评估。
• 物理现实主义通过将预报与物理学的既定知识和潜在模型伪影进行对比的证伪测试来评估。
• 一个三步评估旅程——验证、诊断与证伪——提供全面的现实性评估。
• 后处理和信息量将功能现实主义与预报价值及决策有用性联系起来。