[论文解读] STGIN: A Spatial Temporal Graph-Informer Network for Long Sequence Traffic Speed Forecasting

Ruikang Luo, Yaofeng Song+3 more|arXiv (Cornell University)|Oct 1, 2022

Traffic Prediction and Management Techniques被引用 11

一句话总结

本文提出STGIN，一种新颖的时空图-Informer网络，通过整合图注意力网络（GAT）与Informer架构，以建模交通速度预测中的复杂空间依赖关系和全局长程时间关系。该模型在两个真实世界数据集上实现了最先进性能，相较于ARIMA模型，RMSE降低49.7%，并在长达60分钟的预测时 horizon 上保持稳定且准确的预测结果。

ABSTRACT

Accurate long series forecasting of traffic information is critical for the development of intelligent traffic systems. We may benefit from the rapid growth of neural network analysis technology to better understand the underlying functioning patterns of traffic networks as a result of this progress. Due to the fact that traffic data and facility utilization circumstances are sequentially dependent on past and present situations, several related neural network techniques based on temporal dependency extraction models have been developed to solve the problem. The complicated topological road structure, on the other hand, amplifies the effect of spatial interdependence, which cannot be captured by pure temporal extraction approaches. Additionally, the typical Deep Recurrent Neural Network (RNN) topology has a constraint on global information extraction, which is required for comprehensive long-term prediction. This study proposes a new spatial-temporal neural network architecture, called Spatial-Temporal Graph-Informer (STGIN), to handle the long-term traffic parameters forecasting issue by merging the Informer and Graph Attention Network (GAT) layers for spatial and temporal relationships extraction. The attention mechanism potentially guarantees long-term prediction performance without significant information loss from distant inputs. On two real-world traffic datasets with varying horizons, experimental findings validate the long sequence prediction abilities, and further interpretation is provided.

研究动机与目标

• 解决智能交通系统中长序列交通速度预测的挑战。
• 克服RNN在捕捉全局时间依赖关系方面存在的局限性以及梯度消失问题。
• 建模传统时间模型无法捕捉的道路网络中复杂的空间相互依赖关系。
• 将图神经网络与Informer变换器结合，实现在长序列上的全局注意力机制。
• 在多个预测时 horizon 上实现鲁棒且稳定的性能表现，包括长达60分钟的长期预测。

提出的方法

• 提出STGIN，一种混合架构，结合图注意力网络（GAT）用于空间特征提取，以及Informer用于长序列时间建模。
• 使用GAT层对道路路段之间的拓扑关系进行编码，捕捉非欧几里得交通网络中的空间依赖关系。
• 采用Informer的多头自注意力机制，并结合因子化注意力设计，以高效建模长程时间依赖关系。
• 在统一的编码器-解码器框架中集成GAT与Informer模块，联合学习空间与时间模式。
• 在Informer中应用相对位置编码，以保持时间顺序并提升长序列上的泛化能力。
• 使用真实世界交通速度数据集上的均方误差（MSE）损失，对端到端模型进行训练，实现多时 horizon 预测。

实验结果

研究问题

• RQ1 混合GNN-Transformer模型是否能在长期交通速度预测中超越传统的RNN和独立的GNN？
• RQ2 通过Informer架构引入全局注意力，在长序列上的预测准确性提升程度如何？
• RQ3 与其它空间建模技术相比，GAT在道路网络中捕捉空间依赖关系的效率如何？
• RQ4 所提出的STGIN模型是否能在不同预测时 horizon 上保持稳定性能，包括60分钟预测？
• RQ5 STGIN中的注意力机制如何使模型在不依赖平稳性假设的前提下学习周期性和突发性交通模式？

主要发现

• 在Los-loop数据集上，STGIN在15分钟预测任务中相较ARIMA模型将RMSE降低了49.7%。
• 在Los-loop数据集的15分钟预测任务中，STGIN相较ARIMA模型将预测准确率提升了9.7%。
• 该模型在所有四个预测时 horizon（15、30、45、60分钟）上均保持一致且优越的性能，展现出强大的泛化能力。
• STGIN在两个真实世界数据集上均优于基线模型，包括GRU、Transformer、GCN+Transformer和STGCN。
• 可视化结果显示，STGIN在仅训练2个周期后即迅速学习到周期性模式，并能捕捉突发性变化。
• 训练16个周期后，STGIN在15分钟预测中已实现对真实值的近乎完美拟合；即使60分钟预测，也随着训练时间增加而显著改善。