[论文解读] STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting.

Cheonbok Park, Chunggi Lee+6 more|arXiv (Cornell University)|Nov 29, 2019

Traffic Prediction and Management Techniques被引用 38

一句话总结

本文提出STGRAT，一种时空图注意力网络，通过空间注意力、时间注意力和空间哨兵向量，对交通网络中的动态空间依赖性和时间模式进行建模。该模型在高峰时段等高变化性条件下表现出色，通过自适应聚焦于相关路网路段和时间动态，实现了最先进性能。

ABSTRACT

Predicting the road traffic speed is a challenging task due to different types of roads, abrupt speed changes, and spatial dependencies between roads, which requires the modeling of dynamically changing spatial dependencies among roads and temporal patterns over long input sequences. This paper proposes a novel Spatio-Temporal Graph Attention (STGRAT) that effectively captures the spatio-temporal dynamics in road networks. The features of our approach mainly include spatial attention, temporal attention, and spatial sentinel vectors. The spatial attention takes the graph structure information (e.g., distance between roads) and dynamically adjusts spatial correlation based on road states. The temporal attention is responsible for capturing traffic speed changes, while the sentinel vectors allow the model to retrieve new features from spatially correlated nodes or preserve existing features. The experimental results show that STGRAT outperforms existing models, especially in difficult conditions where traffic speeds rapidly change (e.g., rush hours). We additionally provide a qualitative study to analyze when and where STGRAT mainly attended to make accurate predictions during a rush-hour time.

研究动机与目标

• 解决在具有动态空间依赖性和突发变化的复杂路网中预测交通速度的挑战。
• 建模随交通状况变化的长期时间模式和空间相关性。
• 在高峰时段等高变异性场景下提升预测精度，此类场景中现有模型表现不佳。
• 使模型能够通过哨兵向量选择性地关注相关空间邻居或保留关键特征。

提出的方法

• 空间注意力根据道路状态和图结构（如道路间的物理距离）动态调整空间相关性。
• 时间注意力捕捉长时间输入序列中演变的交通速度模式，聚焦于相关的时间动态。
• 空间哨兵向量使模型能够从空间相关节点检索特征或保留现有特征，提升表征灵活性。
• 模型将图卷积操作与多头注意力机制结合，联合建模空间和时间依赖性。
• 注意力权重通过节点嵌入生成的查询、键和值矩阵计算，实现自适应特征聚合。
• 模型通过历史交通速度序列的重建损失进行端到端训练。

实验结果

研究问题

• RQ1 深度学习模型如何有效捕捉路网中动态变化的空间依赖性以实现交通预测？
• RQ2 引入时间注意力在长输入序列上能在多大程度上提升预测精度？
• RQ3 哨兵向量是否能通过在空间相关区域实现选择性特征检索或保留来提升模型性能？
• RQ4 STGRAT在高峰时段等高变异性交通条件下与现有方法相比表现如何？
• RQ5 在关键预测时段，STGRAT关注哪些空间和时间区域？注意力分布与预测精度之间有何关系？

主要发现

• STGRAT在交通速度预测方面优于现有最先进模型，尤其在速度快速变化的时段（如高峰时段）表现突出。
• 该模型在基准数据集上表现优异，对突发交通波动具有强鲁棒性。
• 定性分析表明，STGRAT在高峰时段聚焦于关键路段和时间窗口，与真实交通动态一致。
• 空间哨兵向量通过允许自适应融合相关节点的信息，改善了特征表征。
• 时间注意力机制有效捕捉了长程时间依赖性，提升了长时间序列上的预测稳定性。
• 注意力机制突出了关键交叉口和通道，为模型决策过程提供了可解释的洞察。