[论文解读] Sea Ice Forecasting using Attention-based Ensemble LSTM

Sahara Ali, Yiyi Huang+2 more|arXiv (Cornell University)|Jul 27, 2021

Arctic and Antarctic ice dynamicsEarth and Planetary Sciences参考文献 10被引用 18

一句话总结

本文提出一种基于注意力机制的集成长短期记忆网络（LSTM）模型，用于提前一个月预测北极海冰范围，利用1979–2018年期间来自ERA5和NSIDC的每日和每月大气、海洋及海冰数据。该方法通过注意力机制结合多时间尺度模型，提升预测精度，实现4.11%的RMSE，显著优于基线模型和近期的深度学习模型。

ABSTRACT

Accurately forecasting Arctic sea ice from subseasonal to seasonal scales has been a major scientific effort with fundamental challenges at play. In addition to physics-based earth system models, researchers have been applying multiple statistical and machine learning models for sea ice forecasting. Looking at the potential of data-driven sea ice forecasting, we propose an attention-based Long Short Term Memory (LSTM) ensemble method to predict monthly sea ice extent up to 1 month ahead. Using daily and monthly satellite retrieved sea ice data from NSIDC and atmospheric and oceanic variables from ERA5 reanalysis product for 39 years, we show that our multi-temporal ensemble method outperforms several baseline and recently proposed deep learning models. This will substantially improve our ability in predicting future Arctic sea ice changes, which is fundamental for forecasting transporting routes, resource development, coastal erosion, threats to Arctic coastal communities and wildlife.

研究动机与目标

• 通过数据驱动的深度学习模型提升次季节至季节尺度的北极海冰预测能力。
• 解决北极融冰季节（7月至9月）可预测性较低的挑战。
• 开发一种集成方法，融合基于不同时间分辨率（每日和每月）训练的模型，以提升预测精度。
• 引入注意力机制，动态加权各子模型的贡献，以降低预测误差。
• 为气候韧性与北极规划提供可扩展、可解释且高精度的预测框架。

提出的方法

• 该模型包含两个主要分支：基于每日时间序列数据训练的每日至每月LSTM（d-LSTM），以及基于每月时间序列数据训练的每月至每月LSTM（m-LSTM）。
• 集成模型（E-LSTM）通过学习到的注意力权重，结合d-LSTM和m-LSTM的预测结果，优先选择更具信息量的模型输出。
• 注意力机制根据各子模型的预测表现，动态计算其贡献权重，以在训练过程中最小化整体损失。
• 最终模型EA-LSTM将注意力机制整合到集成框架中，使网络能够根据不同时间尺度和季节条件，更关注表现优异的模型。
• 该方法在34年（1979–2012年）的数据上进行训练，并在最后5年（2013–2018年）进行测试，采用北纬25°以北区域的面积加权平均。
• 该架构可扩展，支持引入在不同时间或空间分辨率下训练的额外模型分支。

实验结果

研究问题

• RQ1 与单模型基线相比，多时间尺度深度学习模型的集成是否能提升月度北极海冰范围预测的准确性？
• RQ2 引入注意力机制如何增强集成模型的性能与鲁棒性，特别是在可预测性较低的融冰季节？
• RQ3 基于注意力机制的集成模型在海冰预测中，相较于近期最先进深度学习模型，其性能提升程度如何？
• RQ4 注意力机制是否能有效学习根据时间分辨率和季节变化调整模型贡献的权重？
• RQ5 该模型在捕捉海冰范围的年际变化和季节转换方面表现如何？

主要发现

• 所提出的EA-LSTM模型在月度海冰范围预测中实现4.11%的测试RMSE，显著优于基线模型。
• 基于注意力机制的集成模型相比E-LSTM（无注意力）以及单独的d-LSTM/m-LSTM模型，均降低了模型损失并提升了预测精度。
• EA-LSTM模型在具有挑战性的融冰季节（7月至9月）表现出色，该时期通常可预测性较低。
• 与Chi & Kim（2017）相比，RMSE降低1.65%；与Kim et al.（2020）相比，RMSE降低8%，表明性能显著提升。
• 注意力机制能有效学习模型贡献的加权方式，对表现更优的模型分配更高的注意力权重。
• 可视化结果表明，EA-LSTM的预测结果在2014至2018年间与实际观测的海冰趋势高度吻合，尤其在捕捉季节性衰退与恢复模式方面表现突出。