[论文解读] Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models

Tobias Sebastian Finn|arXiv (Cornell University)|Jun 21, 2021

Climate variability and models被引用 8

一句话总结

本文提出自注意力集成变换器（self-attentive ensemble transformer），一种神经网络架构，通过自注意力机制建模地球系统模型预报中集合成员之间的动态相互作用。通过将集合卡尔曼滤波原理整合到变换器框架中，该方法实现了成员级后处理，保持了空间一致性，降低了预报误差（CRPS: 0.41），并正确校准了集合离散度，优于直接方法和参数化后处理方法。

ABSTRACT

Ensemble data from Earth system models has to be calibrated and post-processed. I propose a novel member-by-member post-processing approach with neural networks. I bridge ideas from ensemble data assimilation with self-attention, resulting into the self-attentive ensemble transformer. Here, interactions between ensemble members are represented as additive and dynamic self-attentive part. As proof-of-concept, I regress global ECMWF ensemble forecasts to 2-metre-temperature fields from the ERA5 reanalysis. I demonstrate that the ensemble transformer can calibrate the ensemble spread and extract additional information from the ensemble. As it is a member-by-member approach, the ensemble transformer directly outputs multivariate and spatially-coherent ensemble members. Therefore, self-attention and the transformer technique can be a missing piece for a non-parametric post-processing of ensemble data with neural networks.

研究动机与目标

• 解决使用标准神经网络进行集合后处理时空间和多变量一致性丧失的问题。
• 开发一种非参数化、成员级的后处理方法，以捕捉集合成员之间的相互作用。
• 通过建模动态的成员间依赖关系，校准集合离散度并提高预报技巧。
• 证明自注意力机制能够以类似于集合卡尔曼滤波的方式有效表示集合相互作用。
• 实现空间一致、多变量的集合成员直接输出，而无需依赖汇总统计量。

提出的方法

• 该模型采用多层堆叠的自注意力集成变换器，将集合预报作为集合进行处理。
• 每个集合成员的输出由静态值（输入的可学习投影）和动态的、基于注意力的项组成，后者聚合了所有其他成员的信息。
• 动态项通过加权求和值扰动（v_j - v_mean）计算，其中权重由每个成员学习得到，且依赖于查询-键相似度，模拟集合卡尔曼滤波的动力学。
• 该架构对集合成员具有置换不变性，支持集合处理并保持物理一致性。
• 模型端到端训练，以最小化与ERA5再分析数据的时空CRPS和RMSE。
• 该方法避免使用汇总统计量（如均值、方差），并直接输出完整、空间一致的集合成员。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模集合预报中成员间的相互作用，类似于集合卡尔曼滤波？
• RQ2 成员级后处理方法能否在地球系统模型集合中保持空间和多变量一致性？
• RQ3 与独立处理相比，引入动态成员间依赖关系是否能提升预报精度和离散度校准？
• RQ4 自注意力集成变换器在CRPS和RMSE方面是否优于参数化和非参数化后处理基线方法？
• RQ5 该模型是否能够在不依赖汇总统计量的情况下学习到正确的集合离散度校准？

主要发现

• 自注意力集成变换器在所有测试方法中取得了最低的CRPS（0.41）和RMSE（0.90 K），优于直接方法和PPNN基线。
• 该模型成功校准了集合离散度，达到完美的离散度-技巧比，而直接方法产生了离散度过小的集合（0.70 K）。
• 后处理后，集合内部的空间相关性结构得以保持，与原始IFS-EPS集合中观察到的模式一致，表明具有强空间一致性。
• 与独立处理（Direct）和PPNN方法相比，该变换器模型通过捕捉成员间相互作用提取了额外信息，表现为更低的RMSE和CRPS。
• 该方法在深度上表现出可扩展性，随着层数增加性能提升（例如，Transformer(5)优于Transformer(1)）。
• 该架构实现了非参数化、成员级后处理，可直接输出多变量、空间一致的集合成员，而无需依赖汇总统计量。