[论文解读] Transfer Learning for Emulating Ocean Climate Variability across $CO_2$ forcing

Surya Dheeshjith, Adam Subel+5 more|arXiv (Cornell University)|May 28, 2024

Atmospheric and Environmental Gas Dynamics被引用 4

一句话总结

该论文提出了一种迁移学习框架，以提升机器学习模拟器在不同CO₂强迫下、跨多年尺度的全球表层海洋变异性模拟的泛化能力。使用预工业时期（PI）气候数据训练的ConvNeXt和Transformer架构，在仅用1%的2×CO₂强迫数据进行微调后，即可准确模拟变暖情景下的温度概率密度函数（PDF）、Niño 3.4指数和AMO指数，且模拟器对大气噪声的鲁棒性可达输入标准差的25%。

ABSTRACT

With the success of machine learning (ML) applied to climate reaching further every day, emulators have begun to show promise not only for weather but for multi-year time scales in the atmosphere. Similar work for the ocean remains nascent, with state-of-the-art limited to models running for shorter time scales or only for regions of the globe. In this work, we demonstrate high-skill global emulation for surface ocean fields over 5-8 years of model rollout, accurately representing modes of variability for two different ML architectures (ConvNext and Transformers). In addition, we address the outstanding question of generalization, an essential consideration if the end-use of emulation is to model warming scenarios outside of the model training data. We show that 1) generalization is not an intrinsic feature of a data-driven emulator, 2) fine-tuning the emulator on only small amounts of additional data from a distribution similar to the test set can enable the emulator to perform well in a warmed climate, and 3) the forced emulators are robust to noise in the forcing.

研究动机与目标

• 利用机器学习开发适用于5–8年时间尺度的全球表层海洋场高精度模拟器。
• 解决在训练分布外的变暖情景下模拟海洋气候变异性时的泛化挑战。
• 评估模拟器在滚动预测过程中对大气噪声边界条件的鲁棒性。
• 探究是否可通过从新气候状态中获取最少的附加数据进行迁移学习，显著提升模拟器在分布外设置下的性能。

提出的方法

• 训练机器学习模型（UNet、ConvNeXt UNet、Swin Transformer）以自回归方式从大气边界条件（τu, τv, Tatm）在1天时间间隔内预测表层海洋状态（u, v, T）。
• 使用GFDL CM2.6气候模型模拟的每日输出：20年预工业控制（PI）运行、20年瞬变2×CO₂运行和6年2×CO₂+（四倍）运行，重采样至1°分辨率。
• 通过在2×CO₂运行中选取小段连续样本（1%、5%、25%）对PI训练的模拟器进行微调，应用迁移学习以提升对2×CO₂+情景的泛化能力。
• 使用关键气候指标评估模型性能：Niño 3.4和AMO指数、温度PDF，以及表层动能和温度的偏差图。
• 通过在滚动过程中向边界条件注入高斯噪声（ε = 0.05, 0.25, 1.0）来评估对大气噪声的鲁棒性。
• 将模型输出与2×CO₂+运行的真实结果对比，量化其在变异性表征中的技能、偏差和保真度。

Figure 1: Model skill in reproducing the PDF of temperature. (a) Comparison of the PDF from model datasets; (c) Skill for different architectures for models trained and tested on PI data (in-distribution); (b) Skill for ML models trained on PI and tested on 2xCO2 (out-of-distribution generalization

实验结果

研究问题

• RQ1 在仅使用预工业气候数据训练的机器学习模拟器，能否准确再现瞬变2×CO₂强迫下的全球表层海洋变异性？
• RQ2 在向变暖气候情景（2×CO₂+）泛化时，是否需要大量重训练，还是仅用新气候状态的少量数据进行迁移学习即可满足需求？
• RQ3 从2×CO₂情景中用于微调的数据量如何影响模拟器在2×CO₂+测试分布下的性能？
• RQ4 在长期滚动预测中，模拟器对大气边界强迫噪声的鲁棒性如何？
• RQ5 该迁移学习方法是否可推广至其他气候制度转变，如古气候过渡？

主要发现

• 仅在预工业（PI）数据上训练的模拟器在2×CO₂+强迫下表现出显著偏差，且无法再现温度PDF，表明其在分布外泛化能力差。
• 仅用1%的2×CO₂数据（40个样本）进行微调，即可显著减少表层温度的冷偏差，并改善温度PDF的保真度，尽管在数据量极低时可能存在轻微过拟合。
• 将微调数据增至5%（200个样本）和25%（1000个样本）可进一步降低偏差，并提升对Niño 3.4和AMO等关键气候指数的再现能力。
• ConvNeXt UNet模型在噪声大气边界条件下仍能保持高技能，即使噪声水平达输入标准差的25%，性能下降也极小。
• 当噪声达到100%（等于输入标准差）时，温度和动能中引入了显著偏差，温度PDF与真实值偏离，但大尺度变异性信号仍可辨识。
• 性能最佳的模拟器在多种指标下均能有效捕捉十年尺度的海洋变异性，表明仅用新气候状态的少量数据进行迁移学习，即可实现鲁棒且高保真的模拟。

Figure 2: ML Model skill in reproducing key components of climate variability. Panels a-c are for the monthly rolling mean time series of the Nino 3.4 index. Panels d-e for the monthly rolling mean time series of the AMO index. Left and middle columns are ML models trained on PI control data, and te