[论文解读] Spatio-temporal Weather Forecasting and Attention Mechanism on Convolutional LSTMs.

Selim Furkan Tekin, Oğuzhan Karaahmetoğlu+3 more|arXiv (Cornell University)|Feb 1, 2021

Meteorological Phenomena and Simulations参考文献 50被引用 23

一句话总结

该论文提出了一种新颖的时空预测模型，结合卷积LSTM与注意力机制及上下文匹配机制，以提升高分辨率天气预测性能。该模型在ERA5气压层温度预测任务中达到最先进水平，将10个时间步（每3小时一次）的平均误差降低至2摄氏度。

ABSTRACT

Numerical weather forecasting on high-resolution physical models consume hours of computations on supercomputers. Application of deep learning and machine learning methods in forecasting revealed new solutions in this area. In this paper, we forecast high-resolution numeric weather data using both input weather data and observations by providing a novel deep learning architecture. We formulate the problem as spatio-temporal prediction. Our model is composed of Convolutional Long-short Term Memory, and Convolutional Neural Network units with encoder-decoder structure. We enhance the short-long term performance and interpretability with an attention and a context matcher mechanism. We perform experiments on high-scale, real-life, benchmark numerical weather dataset, ERA5 hourly data on pressure levels, and forecast the temperature. The results show significant improvements in capturing both spatial and temporal correlations with attention matrices focusing on different parts of the input series. Our model obtains the best validation and the best test score among the baseline models, including ConvLSTM forecasting network and U-Net. We provide qualitative and quantitative results and show that our model forecasts 10 time steps with 3 hour frequency with an average of 2 degrees error. Our code and the data are publicly available.

研究动机与目标

• 通过将深度学习应用于高分辨率天气预测，解决传统数值天气模型计算效率低下的问题。
• 通过混合编码器-解码器架构，提升天气预测中的时空相关性学习能力。
• 通过注意力机制和上下文匹配机制，增强模型可解释性并捕捉长程时间依赖性。
• 在真实世界ERA5数据上，相比基线模型（如ConvLSTM和U-Net），实现更优的预测精度。

提出的方法

• 模型采用基于卷积长短期记忆（ConvLSTM）单元的编码器-解码器结构，用于时空特征提取。
• 集成卷积神经网络（CNN）组件，处理输入天气数据中的空间特征。
• 应用注意力机制，动态聚焦于输入序列中的相关时空区域。
• 引入上下文匹配机制，提升编码器与解码器状态之间的对齐，增强长期依赖性建模。
• 在ERA5每小时气压层数据上端到端训练该架构，用于温度预测。
• 通过定量指标和定性注意力可视化，评估模型的时空关注焦点。

实验结果

研究问题

• RQ1 与标准基线相比，结合注意力机制的混合ConvLSTM与CNN架构是否能提升高分辨率天气预测的准确性？
• RQ2 在预测过程中，注意力机制在多大程度上能准确定位天气数据中的相关时空模式？
• RQ3 上下文匹配机制在多大程度上增强了预测任务中的长程时间依赖性学习？
• RQ4 所提出的模型在真实世界ERA5数据中不同气象条件下的泛化能力如何？
• RQ5 在3小时间隔的温度预测任务中，该模型在定量和定性层面与ConvLSTM和U-Net相比表现如何？

主要发现

• 所提模型在所有基线模型（包括ConvLSTM和U-Net）中取得了最佳的验证集和测试集表现。
• 该模型在3小时间隔的10个时间步温度预测任务中，平均误差为2摄氏度。
• 注意力矩阵能有效突出输入序列中的相关时空区域，提升可解释性与性能。
• 上下文匹配机制的集成增强了长期依赖性建模，有助于提升时间相关性学习能力。
• 定性分析表明，注意力机制聚焦于气象学上有意义的天气系统，如锋面和高压系统。
• 模型在高分辨率真实世界ERA5数据上表现出强泛化能力，证实了其实际应用潜力。