[论文解读] Multivariate Time Series Forecasting Based on Causal Inference with Transfer Entropy and Graph Neural Network.

Haoyan Xu, Yida Huang+3 more|arXiv (Cornell University)|May 3, 2020

Time Series Analysis and Forecasting参考文献 10被引用 17

一句话总结

该论文提出TEGNN，一种端到端深度学习模型，通过整合转移熵（TE）来建模多变量时间序列（MTS）变量之间的因果关系，并利用图神经网络（GNN）进行预测。通过构建基于TE的图以表示因果依赖关系，并应用多尺度卷积神经网络（CNN）提取时间特征，TEGNN在三个真实世界MTS基准数据集上实现了最先进性能。

ABSTRACT

Multivariate time series (MTS) forecasting is an important problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, a novel end-to-end deep learning model, termed graph neural network with transfer entropy (TEGNN) is proposed in this paper. To characterize the causal information among variables, the transfer entropy (TE) graph is introduced in our model, where each variable is regarded as a graph node and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, graph neural network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed TEGNN and the comprehensive experiments show that the proposed method achieves state-of-the-art results in MTS forecasting task.

研究动机与目标

• 解决现有MTS预测方法的局限性，即假设所有变量相互影响而未考虑因果关系。
• 利用转移熵（TE）构建因果图，对多变量时间序列变量之间的真正因果依赖关系进行建模。
• 开发一种端到端深度学习框架，结合时间特征与因果图结构，以提高预测准确性。
• 在真实世界MTS数据集上评估所提出方法，并证明其优于现有最先进方法。

提出的方法

• 构建一个基于转移熵（TE）的图，其中每个变量为一个节点，每条边表示一个变量对另一个变量的因果影响。
• 使用具有多种感受野的卷积神经网络（CNN）滤波器，从每个时间序列变量中提取多尺度时间特征。
• 将图中每个节点表示为其提取的时间特征，形成GNN的节点特征矩阵。
• 应用图神经网络（GNN）在基于TE的图结构上传播并聚合信息以实现预测。
• 使用监督损失函数端到端训练整个模型，以最小化未来时间步的预测误差。
• 将因果结构（通过TE实现）与时间动态（通过多尺度CNN实现）整合到统一的深度学习框架中，用于MTS预测。

实验结果

研究问题

• RQ1 与假设对称或完全相互依赖的方法相比，对多变量时间序列变量之间的因果关系进行建模是否能提高预测准确性？
• RQ2 在真实世界数据集中，转移熵在识别时间序列变量之间有意义的因果依赖关系方面有多有效？
• RQ3 将基于TE的图结构整合到图神经网络中，在MTS预测中能在多大程度上提升性能？
• RQ4 所提出的TEGNN模型是否在多样化的现实世界MTS基准上优于现有最先进方法？

主要发现

• 所提出的TEGNN模型在三个真实世界多变量时间序列预测基准上实现了最先进性能。
• 通过引入转移熵来建模因果关系，其预测精度高于忽略因果结构的方法。
• 使用多尺度CNN滤波器增强了时间特征表示，有助于提升模型泛化能力。
• GNN有效利用因果图结构在变量间传播相关信息，从而提升预测性能。