[论文解读] Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting

Defu Cao, Yujing Wang+9 more|arXiv (Cornell University)|Mar 13, 2021

Time Series Analysis and Forecasting被引用 116

一句话总结

StemGNN 引入了一种频谱域模型，利用 Graph Fourier Transform 与 Discrete Fourier Transform 共同捕捉序列间相关性与序列内时间模式，在不依赖先验信息的情况下学习潜在相关性，从而实现先进的多变量时间序列预测。

ABSTRACT

Multivariate time-series forecasting plays a crucial role in many real-world applications. It is a challenging problem as one needs to consider both intra-series temporal correlations and inter-series correlations simultaneously. Recently, there have been multiple works trying to capture both correlations, but most, if not all of them only capture temporal correlations in the time domain and resort to pre-defined priors as inter-series relationships. In this paper, we propose Spectral Temporal Graph Neural Network (StemGNN) to further improve the accuracy of multivariate time-series forecasting. StemGNN captures inter-series correlations and temporal dependencies extit{jointly} in the extit{spectral domain}. It combines Graph Fourier Transform (GFT) which models inter-series correlations and Discrete Fourier Transform (DFT) which models temporal dependencies in an end-to-end framework. After passing through GFT and DFT, the spectral representations hold clear patterns and can be predicted effectively by convolution and sequential learning modules. Moreover, StemGNN learns inter-series correlations automatically from the data without using pre-defined priors. We conduct extensive experiments on ten real-world datasets to demonstrate the effectiveness of StemGNN. Code is available at https://github.com/microsoft/StemGNN/

研究动机与目标

• 激发并解决通过联合建模序列内时间模式和序列间相关性来预测多个时间序列的挑战。
• 提出一种频谱域架构，在端到端框架中结合 Graph Fourier Transform (GFT) 与 Discrete Fourier Transform (DFT)。
• 实现对序列间依赖关系的数据驱动学习，而无需依赖预定义的先验。
• 通过共享编码器将预测和回填（backcasting）结合，以提升表示能力。
• 在多个真实世界的多变量预测数据集上展示业界领先的性能。

提出的方法

• 引入潜在相关性层，通过自注意力和 GRU 编码自动学习序列间依赖关系。
• 应用 Graph Fourier Transform 将多变量输入转换为光谱空间。
• 应用离散傅里叶变换将每个单变量时间序列分解为频率分量。
• 在频域中使用具有 1D 卷积和 GLU 的 Spectral Sequential Cell (Spe-Seq) 来捕捉时序模式。
• 执行频谱图卷积和逆 GFT 以产生输出，设置独立的预测与回填分支。
• 用联合损失进行训练，结合预测误差与回填重建，并采用滚动推断策略进行多步预测。

实验结果

研究问题

• RQ1 如何在频谱域内联合建模序列间相关性与序列内时间依赖？
• RQ2 无需先验的序列间依赖的自动学习是否可以提升多变量预测性能？
• RQ3 将 GFT、DFT 与神经时序卷积结合是否能产生更清晰的频谱模式，从而提高预测精度？
• RQ4 回填分支与残差连接对表示学习和预测精度有何影响？
• RQ5 与最先进基线相比，StemGNN 在各类真实世界的多变量预测数据集上的表现如何？

主要发现

• StemGNN 在九个公开的多变量预测基准上达到最先进的性能，平均在 MAE 和 RMSE 上优于基线。
• 一个数据驱动的潜在相关性层在不需要预定义拓扑的情况下学习有意义的序列间关系，使其具备更广泛的适用性。
• 消融研究表明所有组件（GFT、DFT、Spe-Seq Cell、残差、回填）都对性能有所贡献。
• COVID-19 病例研究和交通分析说明了学习到的相关性及光谱模式的可解释性。
• 光谱域建模平滑时间序列表征，促进学习与泛化。