[论文解读] Postprocessing of Ensemble Weather Forecasts Using Permutation-invariant Neural Networks

Kevin Höhlein, Benedikt Schulz+2 more|arXiv (Cornell University)|Sep 8, 2023

Meteorological Phenomena and Simulations参考文献 39被引用 5

一句话总结

本文提出了一种排列不变的神经网络用于集合天气预报的后处理，将集合成员视为无序集合，以提高概率预报的可靠性。该方法通过利用集合结构中超越汇总统计量的信息，在地表温度和风速阵风预测中实现了最先进水平的校准与锐度，重要性分析显示仅有少数集合自由度携带了大部分预测信息。

ABSTRACT

Statistical postprocessing is used to translate ensembles of raw numerical weather forecasts into reliable probabilistic forecast distributions. In this study, we examine the use of permutation-invariant neural networks for this task. In contrast to previous approaches, which often operate on ensemble summary statistics and dismiss details of the ensemble distribution, we propose networks that treat forecast ensembles as a set of unordered member forecasts and learn link functions that are by design invariant to permutations of the member ordering. We evaluate the quality of the obtained forecast distributions in terms of calibration and sharpness and compare the models against classical and neural network-based benchmark methods. In case studies addressing the postprocessing of surface temperature and wind gust forecasts, we demonstrate state-of-the-art prediction quality. To deepen the understanding of the learned inference process, we further propose a permutation-based importance analysis for ensemble-valued predictors, which highlights specific aspects of the ensemble forecast that are considered important by the trained postprocessing models. Our results suggest that most of the relevant information is contained in a few ensemble-internal degrees of freedom, which may impact the design of future ensemble forecasting and postprocessing systems.

研究动机与目标

• 通过将集合预报建模为无序集合而非依赖汇总统计量，改进集合天气预报的统计后处理。
• 开发对集合成员顺序排列不变的神经网络架构，确保输入顺序变化时预测结果保持一致。
• 评估集合内部结构是否包含超越标准汇总统计量的预测信息。
• 通过一种新颖的特征重要性分析，识别出集合分布中对准确后处理最重要的方面。
• 通过量化集合内部自由度中的信息含量，为未来集合预报与后处理系统的设计提供依据。

提出的方法

• 使用排列不变的神经网络——特别是基于集合架构（如变换器和图网络）的模型——将原始集合预报作为无序的成员预测集合进行处理。
• 通过使用对称聚合函数和对所有成员一视同仁的注意力机制，设计在集合成员顺序排列下保持不变的模型。
• 采用两阶段架构：编码器将集合转化为潜在表示，随后解码器预测参数化预报分布（如截断逻辑斯蒂分布）的参数。
• 在输出层使用软正切激活函数以确保尺度参数的正性约束，并采用Adam优化算法结合早停策略。
• 引入基于排列的特征重要性分析，通过系统性地打乱集合成员顺序，评估其对模型预测的贡献。
• 在站点级数据上进行模型训练，使用纬度、经度、海拔和历史偏差等辅助预测变量，同时确保所有基线方法采用相同的训练条件。

实验结果

研究问题

• RQ1 排列不变的神经网络是否在预报校准与锐度方面优于经典和标准神经网络后处理方法？
• RQ2 将完整集合建模为无序集合是否相较于仅使用均值和离散度等汇总统计量具有预测优势？
• RQ3 集合分布的哪些具体方面（如离散度、偏度、极端值）对后处理最具信息量？
• RQ4 模型预测能力的大部分来源于集合内部结构，还是外部预测变量或模型容量？
• RQ5 从预测信息角度看，集合分布的有效维度是多少？哪些集合成员或特征主导了预测结果？

主要发现

• 所提出的排列不变神经网络在6小时和24小时地表温度及风速阵风预报中，均实现了校准与锐度的最先进性能。
• 处理完整集合为集合的模型显著优于仅依赖汇总统计量的模型，尤其在模糊或高不确定性预报情景下表现更优。
• 基于排列的特征重要性分析表明，仅有少数集合内部自由度——如极端值或特定成员模式——承载了大部分预测信息。
• 结果表明，当前集合系统可能存在过度分布，因为大部分预测能力集中于少数关键集合成员或结构特征，而非整个集合。
• 本研究证明，现代神经架构能够有效从无序集合数据中提取有意义的模式，从而实现更可靠、更锐利的概率预报。