[论文解读] Time Series Forecasting Based on Augmented Long Short-Term Memory

Daniel Hsu|arXiv (Cornell University)|Jul 3, 2017

Time Series Analysis and Forecasting参考文献 16被引用 34

一句话总结

本文提出了一种使用分层潜在变量框架、贝叶斯神经网络和霍尔舒夫先验（Horseshoe priors）的增强型长短期记忆（LSTM）模型，以提升多期时间序列预测性能。通过在多个时间分辨率下建模时间依赖性，并自动剔除冗余输入，该方法在合成数据集和真实世界数据集上均实现了更优的预测精度。

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

研究动机与目标

• 解决现有RNN和DBN模型在捕捉多期时间趋势方面的局限性。
• 利用跨多个过渡周期的分层潜在变量建模时间序列动态。
• 通过贝叶斯正则化结合霍尔舒夫先验，减少冗余或无关输入变量带来的噪声。
• 通过联合学习模型参数并识别非信息性输入，提升预测性能。

提出的方法

• 该模型采用分层潜在变量结构，以在多个时间分辨率下表示时间序列动态。
• 通过将贝叶斯神经网络与霍尔舒夫先验结合，在优化过程中实现自动输入变量选择。
• 霍尔舒夫先验能够将无关输入的权重收缩至零，从而有效剔除冗余特征。
• 该架构使用堆叠的LSTM层以捕捉序列数据中的长期依赖关系。
• 模型通过随机梯度下降进行端到端训练，并使用变分推断进行近似后验估计。
• 通过潜在空间中的结构化转移矩阵，显式建模不同周期间的时间依赖性。

实验结果

研究问题

• RQ1 分层潜在变量模型是否能有效捕捉时间序列数据中的多期时间依赖性？
• RQ2 引入霍尔舒夫先验如何通过剔除冗余输入变量来提升模型鲁棒性？
• RQ3 所提出的方法是否在多期预测任务中优于标准RNN和DBN模型？
• RQ4 贝叶斯正则化在多大程度上提升了真实世界时间序列的泛化能力？

主要发现

• 与基线RNN和DBN模型相比，所提方法在合成数据集和真实世界时间序列数据集上均显著提升了预测精度。
• 霍尔舒夫先验在训练过程中成功识别并抑制了无关输入变量，增强了模型的可解释性。
• 分层潜在结构比标准RNN更有效地捕捉了跨多个时间分辨率的长程依赖关系。
• 即使输入数据包含噪声或无关特征，该模型仍表现出稳健的性能。
• 实证结果表明，RMSE和MAE等预测指标在多种时间序列基准上均持续提升。