[论文解读] Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting

Defu Cao, Yujing Wang+9 more|arXiv (Cornell University)|Mar 13, 2021

Time Series Analysis and Forecasting参考文献 36被引用 190

一句话总结

StemGNN 在光谱域中联合建模序列间相关性与时序依赖，利用 Graph Fourier Transform 与 Discrete Fourier Transform，在不需要预定义拓扑的情况下实现了最前沿的多变量时间序列预测。

ABSTRACT

Multivariate time-series forecasting plays a crucial role in many real-world applications. It is a challenging problem as one needs to consider both intra-series temporal correlations and inter-series correlations simultaneously. Recently, there have been multiple works trying to capture both correlations, but most, if not all of them only capture temporal correlations in the time domain and resort to pre-defined priors as inter-series relationships. In this paper, we propose Spectral Temporal Graph Neural Network (StemGNN) to further improve the accuracy of multivariate time-series forecasting. StemGNN captures inter-series correlations and temporal dependencies \ extit{jointly} in the \ extit{spectral domain}. It combines Graph Fourier Transform (GFT) which models inter-series correlations and Discrete Fourier Transform (DFT) which models temporal dependencies in an end-to-end framework. After passing through GFT and DFT, the spectral representations hold clear patterns and can be predicted effectively by convolution and sequential learning modules. Moreover, StemGNN learns inter-series correlations automatically from the data without using pre-defined priors. We conduct extensive experiments on ten real-world datasets to demonstrate the effectiveness of StemGNN. Code is available at https://github.com/microsoft/StemGNN/

研究动机与目标

• 通过联合建模序列内的时序模式与序列间的相关性，来驱动并解决多变量时间序列预测问题。
• 提出一个将 GFT 与 DFT 集成以提取有意义表示用于预测的光谱域神经架构。
• 实现对序列间关系的自动学习，而无需依赖预定义的拓扑结构。
• 在端到端框架中结合预测与回溯，以提升表征学习效果。

提出的方法

• 引入 StemGNN，应用 Graph Fourier Transform 捕捉序列间关系，随后使用 Discrete Fourier Transform 建模时序频率模式，再进行光谱域卷积和逆变换。
• 通过 Spe-Seq Cell 在频域中通过 DFT、1D 卷积和 GLU 对每个时间序列进行分解，从而实现频域特征学习。
• 加入潜在相关性层，通过自注意力从数据中学习序列间依赖关系，避免使用预定义图。
• 在 Spectral Graph Convolution 模块中堆叠两个 StemGNN 模块并采用残差连接，并使用具有共享编码器的预测与回溯分支。
• 通过将预测损失（MSE/MAE）与回溯损失相结合来训练，以提高表征质量。
• 推理阶段对多步预测采用滚动策略。

实验结果

研究问题

• RQ1 能否在光谱域中有效地联合捕捉序列间相关性与时序依赖，以提升预测精度？
• RQ2 对序列间关系（潜在图）的自动学习是否优于为多变量预测预定义拓扑结构？
• RQ3 双重预测-回溯目标是否能提升表征能力与预测性能？
• RQ4 在不依赖先验图的情况下，StemGNN 在多种真实世界的多变量时间序列数据集上的表现如何？

主要发现

• StemGNN 在九个公开的多变量时间序列基准上实现了最前沿的性能，平均领先基线达到显著的提升。
• 潜在相关性层在没有人工定义拓扑的情况下学习可解释的序列间关系，通常能够达到甚至超过专家指定的图。
• 消融研究表明，移除 Spe-Seq Cell、GFT、DFT、残差连接或回溯等组件会降低性能，凸显了它们的必要性。
• 在交通数据上的可视化显示学习到的相关性具有意义且符合地理直觉。
• 在 COVID-19 案例研究中，StemGNN 能准确预测多周趋势，并揭示传播动态中各国之间的合理依赖关系。