[论文解读] Sub-Seasonal Climate Forecasting via Machine Learning: Challenges, Analysis, and Advances

Sijie He, Xinyan Li+3 more|arXiv (Cornell University)|Jun 14, 2020

Climate variability and models参考文献 54被引用 9

一句话总结

本文评估了机器学习（ML）方法在2–8周美国区域次季节气候预测中的应用，表明通过精心设计的特征工程——尤其是来自陆面和海洋变量（如土壤湿度和厄尔尼诺指数）的特征——XGBoost和混合LSTM-FNN编码器模型能够超越气候学基线。尽管面临高维、空间相关数据和样本有限的挑战，当特征工程和模型架构选择得当时，机器学习模型仍能实现更优的预测性能。

ABSTRACT

Sub-seasonal climate forecasting (SSF) focuses on predicting key climate variables such as temperature and precipitation in the 2-week to 2-month time scales. Skillful SSF would have immense societal value, in areas such as agricultural productivity, water resource management, transportation and aviation systems, and emergency planning for extreme weather events. However, SSF is considered more challenging than either weather prediction or even seasonal prediction. In this paper, we carefully study a variety of machine learning (ML) approaches for SSF over the US mainland. While atmosphere-land-ocean couplings and the limited amount of good quality data makes it hard to apply black-box ML naively, we show that with carefully constructed feature representations, even linear regression models, e.g., Lasso, can be made to perform well. Among a broad suite of 10 ML approaches considered, gradient boosting performs the best, and deep learning (DL) methods show some promise with careful architecture choices. Overall, suitable ML methods are able to outperform the climatological baseline, i.e., predictions based on the 30-year average at a given location and time. Further, based on studying feature importance, ocean (especially indices based on climatic oscillations such as El Nino) and land (soil moisture) covariates are found to be predictive, whereas atmospheric covariates are not considered helpful.

研究动机与目标

• 评估多种机器学习模型在北美大陆2–8周次季节气候预测中的有效性。
• 识别将机器学习应用于次季节预测时面临的关键挑战，包括高维、空间相关数据以及有效样本量有限的问题。
• 探究特征工程、模型架构和协变量选择对预测性能的影响方式与程度。
• 将经典机器学习模型（如Lasso、XGBoost）、深度学习模型（如FNN、CNN、LSTM-Decoder）以及无监督方法（如PCA）与气候学基线进行预测能力对比。
• 确定哪些气候协变量（大气、陆面、海洋）对次季节温度预测最具预测力。

提出的方法

• 本研究使用1979–2018年美国大陆的历史气候数据，聚焦于2–8周时间尺度的逐日温度预测。
• 评估了10种机器学习模型，包括线性模型（Lasso）、树基模型（XGBoost）、前馈神经网络和卷积神经网络（FNN、CNN），以及序列模型（带FNN解码器的LSTM-Decoder）。
• 特征工程涉及从大气、陆面和海洋变量中构建协变量，并应用主成分分析（PCA）以降低空间维度并捕捉空间协方差结构。
• 编码器-解码器架构采用LSTM编码器处理序列协变量，FNN解码器则接收编码器所有输出，以增强时间信息保留能力。
• 通过时间余弦相似度评估预测性能，并与气候学基线和阻尼持续性基线进行比较。
• 通过特征重要性分析识别对预测贡献最大的气候变量（如土壤湿度、厄尔尼诺指数）

实验结果

研究问题

• RQ1 机器学习模型是否能在全美范围的次季节温度预测中超越气候学基线？
• RQ2 当应用于高维、空间相关且样本有限的气候数据时，不同机器学习架构（线性模型、梯度提升、深度学习）的表现如何？
• RQ3 哪些气候协变量（大气、陆面、海洋）对次季节温度预测最具预测力？
• RQ4 特征工程（如PCA或基于领域知识的协变量构建）在多大程度上能提升模型性能？
• RQ5 在序列模型中，架构设计（特别是编码器-解码器结构）如何影响次季节预测的预测能力？

主要发现

• XGBoost在所有测试模型中表现出最高的预测性能，始终优于气候学基线和阻尼持续性基线。
• 即使是最简单的线性模型（如Lasso），在结合精心设计的特征后也表现出强劲性能，尤其在利用陆面和海洋变量时。
• 梯度提升模型（XGBoost）通过有效利用土壤湿度和厄尔尼诺指数等预测信号，展现出卓越的预测能力。
• 深度学习模型，特别是混合LSTM-Decoder（FNN）架构，在经过架构优化后展现出显著性能提升，尽管整体上并非最佳表现者。
• 直接应用于原始数据的卷积神经网络（CNN）和全连接网络（FNN）预测能力有限，原因在于强空间相关性及特征提取能力不足。
• 特征重要性分析显示，陆面和海洋协变量（如土壤湿度、厄尔尼诺指数）被持续选中，而大气协变量（如500mb位势高度）则很少被使用，表明次季节尺度下大气可预测性有限。