[论文解读] Stratospheric Aerosol Injection as a Deep Reinforcement Learning Problem

Christian Schroeder de Witt, Thomas Hornigold|arXiv (Cornell University)|May 17, 2019

Climate Change and Geoengineering参考文献 25被引用 7

一句话总结

本文将平流层气溶胶注入（SAI）视为一个高维马尔可夫决策过程（MDP），通过深度强化学习（DRL）求解，并利用深度学习模型对HadCM3大气环流模型（GCM）进行模拟，以实现高效的样本训练。其主要贡献在于首次将DRL应用于气候科学，以优化SAI政策，从而最小化区域气候扰动。

ABSTRACT

As global greenhouse gas emissions continue to rise, the use of stratospheric aerosol injection (SAI), a form of solar geoengineering, is increasingly considered in order to artificially mitigate climate change effects. However, initial research in simulation suggests that naive SAI can have catastrophic regional consequences, which may induce serious geostrategic conflicts. Current geo-engineering research treats SAI control in low-dimensional approximation only. We suggest treating SAI as a high-dimensional control problem, with policies trained according to a context-sensitive reward function within the Deep Reinforcement Learning (DRL) paradigm. In order to facilitate training in simulation, we suggest to emulate HadCM3, a widely used General Circulation Model, using deep learning techniques. We believe this is the first application of DRL to the climate sciences.

研究动机与目标

• 为解决平流层气溶胶注入（SAI）在气候缓解中的高维、上下文敏感控制问题。
• 通过训练一个快速、准确的HadCM3大气环流模型（GCM）模拟器，克服深度强化学习（DRL）在气候模拟中样本效率低下的问题。
• 开发一种DRL框架，学习最优的、随时间变化的SAI注入策略，以最小化区域气候扰动。
• 实现对SAI政策的稳健发现，同时考虑区域敏感性，如季风位移和终止效应。
• 提供一种可扩展、物理解释一致的方法，用于在实际部署前评估地球工程策略。

提出的方法

• 将SAI控制建模为一个高维马尔可夫决策过程（MDP），其状态空间由地表温度、海冰、海洋热含量和气溶胶光学厚度（AOD）网格定义。
• 采用卷积编码器-解码器神经网络（受UNet启发）模拟HadCM3 GCM输出，实现在毫秒级内预测下一状态的气候变量。
• 在ImageNet上预训练编码器，并在2000个HadCM3模拟轨迹样本上进行微调，气溶胶分布从参数为αk=1.5的狄利克雷分布中采样，且上限设为4ρ以符合凝聚极限。
• 采用离策略深度Q学习，动作空间离散化为每条纬度带10个区间，共73个纬度带，并采用因子化值函数以管理庞大的联合动作空间。
• 定义一个上下文敏感的奖励函数，对偏离工业化前区域降水和温度的偏差施加惩罚，权重由超参数αP和αT控制。
• 在完整HadCM3模拟中交叉验证DRL学习到的策略，以确保物理一致性和鲁棒性。

实验结果

研究问题

• RQ1 深度强化学习能否在高维气候控制场景中有效应用于优化平流层气溶胶注入（SAI）策略？
• RQ2 如何训练一个快速、准确的完整GCM（如HadCM3）模拟器，以实现气候干预中高效的DRL训练？
• RQ3 何种奖励函数结构最能平衡全球降温与SAI部署中的区域气候稳定？
• RQ4 与简单、均匀的注入策略相比，时变、空间异质的SAI注入策略在最小化区域气候扰动方面表现如何？
• RQ5 DRL能否发现非平凡的、自适应的SAI策略，以避免导致季风位移或突然变暖等灾难性区域影响？

主要发现

• 所提出的GCM模拟器能够以毫秒级速度准确预测HadCM3气候状态转移（地表温度、降水、AOD），从而实现快速DRL训练。
• DRL框架学习到的SAI策略能通过基于实时反馈在73个纬度带动态调整注入量，有效最小化区域气候偏差。
• 奖励函数能有效抑制极端区域变化，惩罚力度由αP和αT加权，优先保障气候稳定性。
• 利用在ImageNet上预训练的编码器，并在2000个HadCM3模拟轨迹上微调，可实现对复杂、确定性气候响应的可靠模拟。
• 该方法能够发现非均匀、自适应的SAI策略，其在最小化区域影响方面优于简单、均匀的注入策略。
• 在HadCM3中的交叉验证表明，DRL学习到的策略保持了物理一致性，且避免了气候结果的不稳定。