[论文解读] Spatial Projection of Multiple Climate Variables using Hierarchical Multitask Learning

André Gonçalves, Arindam Banerjee+1 more|arXiv (Cornell University)|Jan 30, 2017

Climate variability and models被引用 7

一句话总结

本文提出了一种用于空间气候预测的分层多任务学习（HMTL）框架，通过将每个气候变量的空间预测建模为一个多任务学习问题，同时对多个气候变量（如温度和降水）进行建模。通过在超任务之间引入组套索正则化，HMTL捕捉了精度矩阵中的共享稀疏模式，实现了气候变量之间的信息共享，显著降低了预测的均方根误差（RMSE），尤其在夏季降水等具有挑战性的变量上效果显著。

ABSTRACT

Future projection of climate is typically obtained by combining outputs from multiple Earth System Models (ESMs) for several climate variables such as temperature and precipitation. While IPCC has traditionally used a simple model output average, recent work has illustrated potential advantages of using a multitask learning (MTL) framework for projections of individual climate variables. In this paper we introduce a framework for hierarchical multitask learning (HMTL) with two levels of tasks such that each super-task, i.e., task at the top level, is itself a multitask learning problem over sub-tasks. For climate projections, each super-task focuses on projections of specific climate variables spatially using an MTL formulation. For the proposed HMTL approach, a group lasso regularization is added to couple parameters across the super-tasks, which in the climate context helps exploit relationships among the behavior of different climate variables at a given spatial location. We show that some recent works on MTL based on learning task dependency structures can be viewed as special cases of HMTL. Experiments on synthetic and real climate data show that HMTL produces better results than decoupled MTL methods applied separately on the super-tasks and HMTL significantly outperforms baselines for climate projection.

研究动机与目标

• 通过利用多个气候变量之间的关系，解决提升空间气候预测准确性的挑战。
• 克服解耦多任务学习方法的局限性，后者将每个气候变量独立处理。
• 开发一种分层框架，实现两级信息共享：在每个气候变量内部（子任务）和在不同变量之间（超任务）。
• 通过结构化参数共享降低样本复杂度，在数据稀缺场景下提升预测准确性。
• 利用组套索正则化，实现对气候变量间任务依赖结构（精度矩阵）的稳健估计。

提出的方法

• 将气候预测建模为具有两层结构的分层多任务学习（HMTL）问题：超任务（每个代表一个气候变量）和子任务（该变量对应的空间位置）。
• 在每个超任务内部采用多任务学习公式，为给定气候变量估计空间变化的ESM权重。
• 在超任务之间对精度矩阵引入组套索正则化，以鼓励任务依赖关系中的共享稀疏模式。
• 联合优化模型参数（Θ）和精度矩阵（Ω），以实现在相关气候变量之间的结构化信息共享。
• 使用交叉验证来调优HMTL和基线方法的正则化参数（λ₀, λ₁, λ₂）。
• 使用南美洲的合成数据和真实气候数据，评估温度和降水预测的性能。

实验结果

研究问题

• RQ1 分层多任务学习框架是否能通过建模多个气候变量之间的相互依赖关系，提升气候预测的准确性？
• RQ2 当独立应用于每个气候变量时，HMTL与解耦多任务学习方法相比表现如何？
• RQ3 在超任务之间引入组套索正则化，能在多大程度上通过利用任务关系中的共享稀疏性来提升预测性能？
• RQ4 HMTL在不同气候变量和时间段上的RMSE表现是否优于OLS、MMA、S²M²R和MSSL等基线方法？
• RQ5 当训练数据有限时，特别是对于夏季降水等具有挑战性的变量，分层结构如何影响模型性能？

主要发现

• HMTL在降低温度和降水预测的RMSE方面显著优于所有基线方法，包括解耦的MSSL。
• 对于被识别为最具挑战性的夏季降水场景，HMTL实现了显著降低的RMSE，证明其在高方差、数据稀缺条件下的有效性。
• 与独立应用于每个气候变量的MSSL相比，HMTL在预测精度上表现更优，尤其在南美洲北部（哥伦比亚、委内瑞拉）的降水预测以及中北美洲（亚马逊地区）的温度预测中表现突出。
• 组套索正则化有效捕捉了精度矩阵之间的共享稀疏模式，从而更准确地估计了任务依赖关系，提升了泛化能力。
• 在合成数据上的实验表明，随着内部多任务学习问题数量的增加，HMTL的性能持续提升，验证了其可扩展性和鲁棒性。
• MMA基线（等权重ESM）始终产生最高的RMSE，表明简单平均法无法有效利用模型之间的关系。