[论文解读] Simulating Atmospheric Processes in Earth System Models and Quantifying Uncertainties with Deep Learning Multi-Member and Stochastic Parameterizations

Gunnar Behrens, Tom Beucler+6 more|arXiv (Cornell University)|Feb 5, 2024

Atmospheric and Environmental Gas Dynamics被引用 4

一句话总结

该论文提出了一种结合深度学习集成与随机参数化方法，并通过校准的不确定性量化，以改进地球系统模型（ESMs）中的亚网格大气过程。该方法利用多成员神经网络和变分自编码器，模拟对流、湍流和辐射通量。该方法实现了稳定、长期的在线模拟（>5个月），并显著提升了极端降水和昼夜循环的模拟能力，相较于确定性模型表现更优。

ABSTRACT

Deep learning is a powerful tool to represent subgrid processes in climate models, but many application cases have so far used idealized settings and deterministic approaches. Here, we develop stochastic parameterizations with calibrated uncertainty quantification to learn subgrid convective and turbulent processes and surface radiative fluxes of a superparameterization (SP) embedded in an Earth System Model (ESM). We explore three methods to construct stochastic parameterizations: 1) a single Deep Neural Network (DNN) with Monte Carlo Dropout; 2) a multi-member parameterization; and 3) a Variational Encoder Decoder with latent space perturbation. We show that the multi-member (MM) parameterization improves the representation of convective processes, especially in the planetary boundary layer, compared to individual DNNs. The respective uncertainty quantification illustrates that methods 2) and 3) are advantageous compared to a dropout-based DNN parameterization regarding the spread of convective processes. Hybrid simulations with our best-performing MM parameterizations remained challenging and crash within the first days. Therefore, we develop a pragmatic partial coupling strategy relying on the SP for condensate emulation. Partial coupling reduces the computational efficiency of hybrid Earth-like simulations but enables model stability over 5 months with our MM parameterizations. However, our hybrid simulations exhibit biases in thermodynamic fields and differences in precipitation patterns. Despite this, the MM parameterizations enable improvements in reproducing tropical extreme precipitation compared to a traditional convection parameterization. Despite these challenges, our results indicate the potential of a new generation of MM machine learning parameterizations leveraging uncertainty quantification to improve the representation of stochasticity of subgrid effects.

研究动机与目标

• 为解决地球系统模型（ESMs）中长期存在的偏差，特别是由亚网格尺度对流参数化不足引起的双赤道低压带（double ITCZ）偏差。
• 开发基于机器学习的参数化方法，以捕捉亚网格尺度的变异性与不确定性，超越确定性深度神经网络（DNNs）的局限。
• 通过规避凝结物倾向模拟中的挑战，实现深度学习参数化与完整ESM（包括地表和辐射通量）的稳定、长期在线耦合。
• 利用随机深度学习方法量化亚网格过程的不确定性，提升气候模拟的可信度与真实性。
• 证明基于集成的机器学习参数化方法在模拟极端降水和昼夜循环方面优于确定性方法。

提出的方法

• 开发了三种随机参数化方法：(1) 带蒙特卡洛丢弃的单一DNN，(2) 多网络集成，(3) 带潜在空间扰动的变分自编码器-解码器（VAE）。
• 多网络集成通过多个独立的DNN对同一输入生成多样化预测，增强对亚网格变异性表征能力。
• 提出一种新颖的部分耦合策略，以解耦凝结物倾向模拟，成功实现与ESM超过5个月的稳定在线集成。
• 通过集成离散度与概率输出实现不确定性量化，VAE方法在离散度特性方面优于基于丢弃的DNN集成。
• 离线评估使用保留数据集比较亚网格倾向预测；在线评估则评估耦合模拟中极端降水与昼夜循环的表现。
• 所有模型均基于超参数化社区大气模型（SPCAM）在全球海洋面（aquaplanet）设置下的数据进行训练，随后嵌入SPCESM2 ESM中进行在线测试。

Figure 1: We compare three stochastic parameterization strategies for reproducing the superparameterization (SP), which simulates SP subgrid variables ( $\boldsymbol{Y}$ ) based on large-scale Community Atmosphere Model (CAM) variables ( $\boldsymbol{X}$ ): 1) Applying Monte-Carlo dropout to a singl

实验结果

研究问题

• RQ1 与确定性DNN相比，深度学习集成参数化方法是否能更优地表征行星边界层中的亚网格对流与湍流过程？
• RQ2 在不确定性离散度与预测能力方面，蒙特卡洛丢弃、多网络集成与基于VAE的扰动等不同随机参数化技术如何比较？
• RQ3 当与包含地表和辐射通量的ESM完全耦合时，是否能实现稳定、长期的在线模拟（>5个月）？
• RQ4 与传统方案相比，基于集成的参数化方法在模拟极端降水与降水昼夜循环方面改善程度如何？
• RQ5 在真实、耦合的地球系统模拟中，集成方法提供的不确定性量化是否能与亚网格过程变异性产生有意义的关联？

主要发现

• 相较于单个DNN，多网络集成参数化方法在离线与在线条件下均显著改善了行星边界层对流过程的表征。
• 采用集成方法的在线模拟可稳定运行超过5个月，而使用单个DNN的模拟因凝结物倾向模拟不稳定性，数日内即崩溃。
• 基于VAE的随机参数化方法产生的对流过程预测离散度比基于丢弃的DNN集成更接近真实，表明其不确定性量化能力更优。
• 集成参数化方法改善了极端降水与降水昼夜循环的模拟，使其更接近参考的超参数化方案，优于传统参数化方案。
• 尽管有所改进，但平均降水场的忠实表征仍具挑战，表明大尺度环流模拟仍存在局限。
• 所提出的部分耦合策略成功规避了凝结物倾向模拟中的问题，实现了机器学习参数化与完整ESM的稳定在线集成。

Figure 2: Vertical profiles of median coefficient of determination R 2 for specific humidity tendency (a), $\boldsymbol{\dot{q}}$ ), temperature tendency (b) $\boldsymbol{\dot{T}}$ ) of DNN-dropout (solid navy blue); $\mathrm{\overline{DNN}}$ and DNN-ensemble (solid and dashed black), $\mathrm{\over