[论文解读] Multi-variable LSTM neural network for autoregressive exogenous model

Tian Guo, Tao Lin|arXiv (Cornell University)|Jun 17, 2018

Stock Market Forecasting Methods参考文献 25被引用 15

一句话总结

该论文提出了一种具有张量化隐藏状态的多变量LSTM（MV-LSTM），以在自回归外生（ARX）时间序列模型中实现联合预测与变量重要性解释。通过引入时间与变量维度的注意力机制混合，MV-LSTM基于后验推断量化变量重要性，在真实与合成数据集上均优于基线模型，在预测精度与可解释性方面表现更优。

ABSTRACT

In this paper, we propose multi-variable LSTM capable of accurate forecasting and variable importance interpretation for time series with exogenous variables. Current attention mechanism in recurrent neural networks mostly focuses on the temporal aspect of data and falls short of characterizing variable importance. To this end, the multi-variable LSTM equipped with tensorized hidden states is developed to learn hidden states for individual variables, which give rise to our mixture temporal and variable attention. Based on such attention mechanism, we infer and quantify variable importance. Extensive experiments using real datasets with Granger-causality test and the synthetic dataset with ground truth demonstrate the prediction performance and interpretability of multi-variable LSTM in comparison to a variety of baselines. It exhibits the prospect of multi-variable LSTM as an end-to-end framework for both forecasting and knowledge discovery.

研究动机与目标

• 解决标准RNN（如LSTM）在建模带外生变量的多变量时间序列时缺乏变量层面可解释性的问题。
• 开发一个统一的端到端框架，同时实现高精度预测与通过变量重要性量化实现的知识发现。
• 克服现有注意力机制的局限性，这些机制仅关注时间注意力，未能捕捉变量特异性贡献。
• 设计一种张量化隐藏状态结构，使LSTM单元内能独立表示各变量信息，以提升可解释性。
• 利用具有真实因果关系的现实数据集（通过格兰杰因果检验）与具有真实标签的合成数据，验证模型的性能与可解释性。

提出的方法

• 提出一种具有张量化隐藏状态的多变量LSTM（MV-LSTM），其中隐藏状态张量的每个元素编码特定输入变量的专属信息。
• 开发一种混合注意力机制，利用变量特异性隐藏状态，联合建模时间维度注意力（跨时间步）与变量维度注意力（跨输入变量）。
• 构建一个概率后验推断框架，基于学习到的变量注意力权重量化变量重要性。
• 利用后验注意力分布推导出可解释的重要性评分，其可区分性优于先验或未归一化的注意力权重。
• 采用预测损失与注意力正则化相结合的方式端到端训练模型，以同时提升预测精度与可解释性。
• 将模型应用于真实数据集（PM2.5、Plant、Energy）与具有真实标签的合成数据集，以评估其性能与可解释性。

实验结果

研究问题

• RQ1 MV-LSTM在带外生变量的多变量时间序列上，是否能实现优于标准RNN、统计模型与深度学习基线的预测性能？
• RQ2 所提出的混合注意力机制是否能有效捕捉并量化输入层面的变量重要性，而不仅限于时间注意力？
• RQ3 MV-LSTM中变量注意力的后验推断是否能产生比先验或未归一化注意力更准确且更具区分度的变量重要性排序？
• RQ4 在真实数据集中，MV-LSTM能否通过统计检验正确识别格兰杰因果变量？
• RQ5 在具有真实标签的合成数据中，MV-LSTM能否恢复输入变量的真实重要性，特别是那些具有已知因果影响的变量？

主要发现

• 在所有真实数据集上，MV-LSTM均取得了最佳预测性能，其在PM2.5数据集上的测试RMSE为132.54 ± 0.21，优于所有基线模型。
• 在合成数据集中，MV-LSTM正确识别出变量2与3为最重要贡献者，与真实标签一致，而基线模型未能恢复正确的重要性顺序。
• 在PM2.5数据集中，MV-LSTM将露点、累积风速与气压正确排在前三位重要变量，与领域知识及格兰杰因果分析结果一致。
• MV-LSTM中的后验注意力机制将注意力聚焦于更相关变量（如露点），并抑制不相关变量（如累积降雨时长），从而在可解释性方面优于先验或未归一化注意力。
• 与DUAL和RETAIN相比，MV-LSTM生成的变量重要性评分更具区分性与意义性，如注意力权重的直方图可视化所示。
• cLSTM依赖稀疏正则化实现变量重要性识别，在合成与真实数据集中均未能正确识别关键变量，凸显了MV-LSTM基于注意力机制的可解释性优势。