[论文解读] Spatio-Temporal meets Wavelet: Disentangled Traffic Flow Forecasting via Efficient Spectral Graph Attention Network

Yuchen Fang, Yanjun Qin+5 more|arXiv (Cornell University)|Dec 6, 2021

Traffic Prediction and Management Techniques被引用 6

一句话总结

该论文提出STWave，一种新颖的时空交通预测模型，通过离散小波变换（DWT）将交通序列解耦为低频和高频分量，利用双通道编码器分别建模长期和短期时间模式。该模型引入一种高效的谱图注意力网络（ESGAT），结合基于小波的图位置编码与查询采样，将计算复杂度降低至O(N log N)，在四个真实世界数据集上实现了最先进性能，且推理成本更低。

ABSTRACT

Traffic forecasting is crucial for public safety and resource optimization, yet is very challenging due to three aspects: i) current existing works mostly exploit intricate temporal patterns (e.g., the short-term thunderstorm and long-term daily trends) within a single method, which fail to accurately capture spatio-temporal dependencies under different schemas; ii) the under-exploration of the graph positional encoding limit the extraction of spatial information in the commonly used full graph attention network; iii) the quadratic complexity of the full graph attention introduces heavy computational needs. To achieve the effective traffic flow forecasting, we propose an efficient spectral graph attention network with disentangled traffic sequences. Specifically, the discrete wavelet transform is leveraged to obtain the low- and high-frequency components of traffic sequences, and a dual-channel encoder is elaborately designed to accurately capture the spatio-temporal dependencies under long- and short-term schemas of the low- and high-frequency components. Moreover, a novel wavelet-based graph positional encoding and a query sampling strategy are introduced in our spectral graph attention to effectively guide message passing and efficiently calculate the attention. Extensive experiments on four real-world datasets show the superiority of our model, i.e., the higher traffic forecasting precision with lower computational cost.

研究动机与目标

• 为解决使用统一方法建模交通流中复杂且纠缠的时间模式的挑战。
• 克服全图注意力网络（GAT）在交通预测中二次方复杂度的问题。
• 通过新颖的图位置编码引入结构归纳偏差，提升GAT中的空间信息传递。
• 通过分别建模长期（低频）与短期（高频）交通动态，提升预测精度。
• 通过高效的注意力机制与多监督学习，实现出色性能的同时降低计算成本。

提出的方法

• 应用离散小波变换（DWT）将原始交通序列分解为低频分量（长期趋势）与高频分量（短期波动）。
• 设计双通道时空编码器：一个分支使用空洞因果卷积建模长期模式，另一分支使用时间注意力机制捕捉短期动态。
• 融合注意力机制聚合两个分支的潜在表征，生成统一预测结果。
• 采用多监督策略，与完整交通流并行预测低频分量，以改善长期趋势的学习。
• 提出一种计算复杂度为O(N log N)的高效谱图注意力网络（ESGAT），替代标准GAT以降低计算成本。
• 引入基于小波的图位置编码，通过结合结构信息与局部化信息指导消息传递，同时利用查询采样实现注意力计算的稀疏化。

实验结果

研究问题

• RQ1 将交通序列解耦为低频与高频分量是否能提升交通预测中长期与短期时间依赖关系的建模效果？
• RQ2 具有O(N log N)复杂度的高效谱图注意力机制是否能在降低计算成本的同时优于标准GAT？
• RQ3 基于小波的图位置编码是否能通过融合结构信息与局部化信息，增强图注意力网络中的空间消息传递？
• RQ4 对低频分量实施多监督学习如何提升长期交通趋势的预测能力？
• RQ5 在使用ESGAT与原始GAT或全注意力机制时，模型精度、推理速度与内存使用之间的权衡如何？

主要发现

• STWave在四个真实世界数据集（PeMSD4、PeMSD8、METR-LA、Pems-Bay）上达到最先进性能，在MAE、RMSE与MAPE指标上均优于现有方法。
• 消融实验表明，移除ESGAT模块（"-S"）导致的性能下降大于移除时间组件（"-T"），表明空间建模的重要性更高。
• 包含所有组件的完整STWave模型表现最佳，验证了五大核心组件（DWT、双通道编码器、融合注意力、多监督学习、ESGAT）的有效性。
• 参数敏感性分析显示，8个注意力头与每头16维嵌入时性能最优，且在2层时性能趋于稳定。
• 与基线模型相比，STWave在速度、内存使用与精度之间实现了最佳权衡，优于LSGCN、STGODE以及采用原始GAT或全注意力机制的变体。
• 基于小波的图位置编码显著优于其他方法（如特征向量EV与node2vec N2V），后者在平衡结构与定位信息方面效果较差。