[论文解读] Recurrent Neural Networks for Time Series Forecasting

Gábor Petneházi|arXiv (Cornell University)|Jan 1, 2019

Time Series Analysis and Forecasting参考文献 40被引用 76

一句话总结

本文提出一个端到端的基于 RNN 的时间序列预测框架，强调特征工程、特征重要性、点预测与区间预测，以及对 LSTM 和 GRU 模型在引导自举预测区间的经验比较。

ABSTRACT

Time series forecasting is difficult. It is difficult even for recurrent neural networks with their inherent ability to learn sequentiality. This article presents a recurrent neural network based time series forecasting framework covering feature engineering, feature importances, point and interval predictions, and forecast evaluation. The description of the method is followed by an empirical study using both LSTM and GRU networks.

研究动机与目标

• 提供一个使用循环神经网络（RNN）对时间序列进行端到端预测的框架。
• 说明特征工程和特征重要性如何提升 RNN 的预测性能。
• 利用自举和集成思想为时间序列开发点预测和预测区间。
• 在真实数据集上对 LSTM 与 GRU 架构进行实证比较，并分析性能与不确定性。

提出的方法

• 描述一个基于 RNN 的预测框架，集成特征工程（滞后、趋势、季节性、哑变量指示）和归一化。
• 使用基于置换的特征重要性（均值下降精度）来评估 RNN 的输入相关性。
• 支持一步预测和迭代多步预测，使用自举集合来获得预测区间。
• 通过自举训练自举模型并对预测取平均来构建预测区间；用一个二级网络估计残差方差。
• 使用回归和方向准确性指标进行验证，以及区间评估指标（PICP、MPIW、NMPIW、CWC）。
• 比较单层 LSTM 和 GRU 模型，32 个单元，使用 MSE 损失与 Adam 优化器，在 Bike Sharing 数据集上训练。

实验结果

研究问题

• RQ1 端到端的 RNN 预测框架能否提高时间序列数据的预测准确性？
• RQ2 哪些输入特征（滞后、季节性、趋势、节假日）对 RNN 预测影响最大？
• RQ3 在一步与多步时间序列预测任务中，LSTM 与 GRU 的比较如何？
• RQ4 自举集合是否能为神经网络预测提供可靠的预测区间？
• RQ5 特征重要性是否与时间序列的直观驱动因素一致？

主要发现

• 在研究的数据集上，LSTM 与 GRU 模型表现相近。
• 近期滞后特征和日内季节性（一天中的小时、节假日/工作时段）是最重要的预测变量之一。
• 一步预测的准确性更高（R^2 约为 0.95；RMSE ~31-33），多步预测的准确性较低（R^2 约为 0.8；RMSE ~90-105）。
• 自举装袋法在预测精度上优于单独模型，并产生更宽但良好校准的预测区间（通常超过名义的 90% 覆盖率）。
• 通过自举构建的预测区间覆盖率高于名义目标，区间宽度表明多步预测的不确定性在增加。