[论文解读] Multivariate Time Series Forecasting with Transfer Entropy Graph

Ziheng Duan, Haoyan Xu+3 more|arXiv (Cornell University)|May 3, 2020

Time Series Analysis and Forecasting被引用 5

一句话总结

本文提出CauGNN，一种用于多变量时间序列预测的端到端深度学习模型，通过传递熵（TE）构建因果图，并结合多尺度卷积神经网络（CNN）与图神经网络（GNN）进行特征提取。该方法通过显式建模变量间的非线性因果关系，实现了SOTA性能，在基准数据集上的表现优于现有模型。

ABSTRACT

Multivariate time series (MTS) forecasting is an essential problem in many fields. Accurate forecasting results can effectively help decision-making. To date, many MTS forecasting methods have been proposed and widely applied. However, these methods assume that the predicted value of a single variable is affected by all other variables, which ignores the causal relationship among variables. To address the above issue, we propose a novel end-to-end deep learning model, termed graph neural network with Neural Granger Causality (CauGNN) in this paper. To characterize the causal information among variables, we introduce the Neural Granger Causality graph in our model. Each variable is regarded as a graph node, and each edge represents the casual relationship between variables. In addition, convolutional neural network (CNN) filters with different perception scales are used for time series feature extraction, which is used to generate the feature of each node. Finally, Graph Neural Network (GNN) is adopted to tackle the forecasting problem of graph structure generated by MTS. Three benchmark datasets from the real world are used to evaluate the proposed CauGNN. The comprehensive experiments show that the proposed method achieves state-of-the-art results in the MTS forecasting task.

研究动机与目标

• 为解决现有多变量时间序列预测模型存在的局限性，即假设所有变量相互影响而未考虑因果关系。
• 利用传递熵（TE）作为先验，整合时间序列变量间的非线性因果依赖关系。
• 构建一个端到端的深度学习框架，利用图结构与因果信息以提升预测精度。
• 在真实世界基准数据集上验证所提模型的有效性。

提出的方法

• 使用传递熵（TE）构建神经格兰杰因果图，以建模多变量时间序列变量之间的非线性因果关系。
• 将每个时间序列变量表示为图中的一个节点，边的权重由成对的TE值决定，从而形成邻接矩阵。
• 对每个节点的原始时间序列数据，应用多尺度一维卷积神经网络（CNN）滤波器以提取时序特征。
• 使用图神经网络（GNN）在因果图上传播并聚合特征以实现预测。
• 采用反向传播方法端到端训练整个模型，损失函数包括RAE和MAE。
• 在变量选择模块中集成正则化与组Lasso，以识别关键因果变量。

实验结果

研究问题

• RQ1 传递熵能否有效捕捉多变量时间序列变量之间的非线性因果关系以用于预测？
• RQ2 与假设全连接的模型相比，引入基于TE的因果图在多大程度上提升了预测性能？
• RQ3 多尺度CNN在提取图基预测的有意义时序特征方面起到了什么作用？
• RQ4 CauGNN模型在不同数据集和预测时域下对超参数选择的鲁棒性如何？
• RQ5 移除CNN或因果图组件后，模型性能下降的程度有多大？

主要发现

• CauGNN在三个真实世界基准数据集上均优于所有SOTA基线模型，在RAE、MAE和CORR指标上均取得最佳结果。
• 消融实验表明，移除CNN组件（CauGNN-nCNN）导致性能显著下降，证实了其在特征提取中的关键作用。
• 将GNN层替换为GIN层（CauGNN-GIN）后性能保持稳定，表明该框架与不同GNN架构具有良好的兼容性。
• 使用全连接（全为1）的邻接矩阵（CauGNN-nCau）代替基于TE的图结构后性能更差，证明了因果先验的价值。
• 模型对超参数变化具有鲁棒性，在GNN层隐藏维度值从10到100的范围内性能保持稳定。
• 使用多个CNN滤波器（三个）显著优于单滤波器或原始输入（CauGNN-RF），证明了多感受野特征学习的优势。