[论文解读] Spatio-temporal Stacked LSTM for Temperature Prediction in Weather Forecasting

Zahra Karevan, Johan A. K. Suykens|arXiv (Cornell University)|Nov 15, 2018

Time Series Analysis and Forecasting参考文献 16被引用 33

一句话总结

本文提出了一种时空堆叠LSTM模型用于温度预测，该模型在第一层独立处理来自多个位置的气象数据，并在融合其隐藏状态后传递给第二层LSTM层。通过利用空间相关性，该方法提升了预测精度，结果显示在使用Sigmoid激活函数和空间融合时，MAE显著降低，使其在性能上与最先进方法具有竞争力。

ABSTRACT

Long Short-Term Memory (LSTM) is a well-known method used widely on sequence learning and time series prediction. In this paper we deployed stacked LSTM model in an application of weather forecasting. We propose a 2-layer spatio-temporal stacked LSTM model which consists of independent LSTM models per location in the first LSTM layer. Subsequently, the input of the second LSTM layer is formed based on the combination of the hidden states of the first layer LSTM models. The experiments show that by utilizing the spatial information the prediction performance of the stacked LSTM model improves in most of the cases.

研究动机与目标

• 通过在深度学习模型中整合空间与时间依赖性，提升气象预报中的温度预测性能。
• 探究融合各位置特定LSTM的隐藏状态是否能提升预测性能。
• 评估带有空间归纳偏置的堆叠LSTM架构在多站点气象时间序列中的有效性。
• 比较不同激活函数（tanh与sigmoid）及序列长度下的模型性能。
• 将所提方法与最先进天气预报系统（如Weather Underground）进行基准对比。

提出的方法

• 该模型采用两层堆叠LSTM架构，第一层对每个气象站独立训练LSTM。
• 第一层中所有位置的隐藏状态被拼接，并作为输入传递给第二层LSTM。
• 第二层处理组合后的时空表示，以预测未来温度。
• 模型使用标准LSTM单元方程，第一层中每个位置均使用独立的权重矩阵和偏置。
• 该方法采用早期融合（堆叠LSTM）与中间融合（时空融合）相结合的方式处理多位置数据。
• 实验采用序列长度10，通过在5次随机运行中对超参数进行经验调优，以确保结果稳健性。

实验结果

研究问题

• RQ1 在基于LSTM的模型中，整合多个气象站之间的空间相关性是否能提升温度预测精度？
• RQ2 与无空间融合的标准堆叠LSTM相比，时空堆叠LSTM的性能如何？
• RQ3 在所提架构中，哪种激活函数（tanh或sigmoid）能带来更好的预测性能？
• RQ4 所提模型能否在性能上与Weather Underground等最先进天气预报系统相媲美？
• RQ5 预测精度在不同预报时长（1–6天后）下如何变化？

主要发现

• 在11月/12月测试集中，该时空堆叠LSTM在最低温度预测上相比标准堆叠LSTM将MAE降低了最多18%。
• 在4月/5月测试集中，对于1天后预报的最高温度预测，该模型的MAE比标准堆叠LSTM低25%。
• 使用Sigmoid作为内部激活函数在性能上始终优于tanh，尤其是在引入空间融合时表现更优。
• 在两个测试集中，该模型在最低温度预测上均优于Weather Underground，展现出强大的竞争力。
• 在较长预报时长（如5–6天后）时，性能提升最为显著，空间融合有助于稳定预测结果。
• 在11月/12月测试集中，1天后最低温度预测的中位数MAE从标准堆叠LSTM的1.66降至1.43。