[论文解读] R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting

Hardik Goel, Igor Melnyk+1 more|arXiv (Cornell University)|Sep 10, 2017

Stock Market Forecasting Methods参考文献 24被引用 29

一句话总结

本文提出R2N2，一种混合模型，将线性向量自回归（VAR）模型与残差循环神经网络（RNN）结合，以提升多变量时间序列预测性能。通过使用VAR建模线性依赖关系，利用RNN捕捉非线性残差，R2N2在预测精度、训练速度和模型复杂度方面均优于独立的VAR或RNN模型。

ABSTRACT

Multivariate time-series modeling and forecasting is an important problem with numerous applications. Traditional approaches such as VAR (vector auto-regressive) models and more recent approaches such as RNNs (recurrent neural networks) are indispensable tools in modeling time-series data. In many multivariate time series modeling problems, there is usually a significant linear dependency component, for which VARs are suitable, and a nonlinear component, for which RNNs are suitable. Modeling such times series with only VAR or only RNNs can lead to poor predictive performance or complex models with large training times. In this work, we propose a hybrid model called R2N2 (Residual RNN), which first models the time series with a simple linear model (like VAR) and then models its residual errors using RNNs. R2N2s can be trained using existing algorithms for VARs and RNNs. Through an extensive empirical evaluation on two real world datasets (aviation and climate domains), we show that R2N2 is competitive, usually better than VAR or RNN, used alone. We also show that R2N2 is faster to train as compared to an RNN, while requiring less number of hidden units.

研究动机与目标

• 解决纯线性模型（如VAR）和纯非线性模型（如RNN）在多变量时间序列预测中的局限性。
• 克服VAR模型在阶数选择和可扩展性方面的挑战，以及RNN模型在训练难度和过拟合风险方面的难题。
• 构建一种框架，通过在基于线性模型的残差上使用RNN，充分发挥线性和非线性模型的优势。
• 证明残差建模可减轻RNN的负担，从而支持更简单的网络结构和更快的收敛速度。
• 在真实世界的航空和气候数据集上验证该方法，展示其相对于基线模型的一致性能提升。

提出的方法

• 使用基础线性模型（具体为VAR-1）拟合多变量时间序列，并计算残差。
• 将VAR模型的残差输入至RNN（具体为基于LSTM的RNN）以捕捉非线性依赖关系和长期模式。
• 使用标准VAR估计算法训练VAR组件，使用时间反向传播算法训练RNN组件。
• 最终预测结果通过将VAR模型的预测结果与应用于残差的RNN模型预测结果相加获得。
• 该架构支持根据领域特定特征，模块化地使用不同基础模型（如卡尔曼滤波器、ARCH模型）。
• RNN组件在简化的输入空间（即残差）上运行，从而降低模型复杂度并加速训练。

实验结果

研究问题

• RQ1 将线性模型（VAR）与残差上的非线性RNN结合，能否提升多变量时间序列预测的准确性？
• RQ2 与从零开始训练RNN相比，R2N2架构是否能显著减少训练时间并降低模型复杂度？
• RQ3 在多种真实世界数据集上，R2N2相对于独立的VAR和RNN模型表现如何？
• RQ4 将VAR作为基础模型在多大程度上可消除时间序列建模中对阶数选择的需求？
• RQ5 R2N2是否能以更少的RNN隐藏单元数量，实现优于独立RNN的性能？

主要发现

• 在航空数据集上，R2N2-128表现最佳，优于VAR和独立RNN模型。
• 在ENSO气候数据集上，R2N2-64在所有测试架构中表现最优。
• 即使仅使用32个隐藏单元的R2N2，其在航空数据集上的表现也优于使用128个隐藏单元的独立RNN。
• R2N2模型的训练速度显著快于独立RNN，其损失函数在训练初期迅速下降，主要得益于VAR组件处理了大部分线性结构。
• 由于残差输入的复杂度降低，R2N2中RNN组件的训练时间明显短于独立RNN。
• 模型表现出高度稳定性，两个数据集在多次随机权重初始化下误差条均较小。