[论文解读] STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting

Hangchen Liu, Zheng Dong+5 more|arXiv (Cornell University)|Aug 21, 2023

Traffic Prediction and Management Techniques被引用 10

一句话总结

STAEformer 为 vanilla Transformer 增添时空自适应嵌入，在六个真实世界交通预测数据集上实现最先进的结果，且无需复杂图结构。

ABSTRACT

With the rapid development of the Intelligent Transportation System (ITS), accurate traffic forecasting has emerged as a critical challenge. The key bottleneck lies in capturing the intricate spatio-temporal traffic patterns. In recent years, numerous neural networks with complicated architectures have been proposed to address this issue. However, the advancements in network architectures have encountered diminishing performance gains. In this study, we present a novel component called spatio-temporal adaptive embedding that can yield outstanding results with vanilla transformers. Our proposed Spatio-Temporal Adaptive Embedding transformer (STAEformer) achieves state-of-the-art performance on five real-world traffic forecasting datasets. Further experiments demonstrate that spatio-temporal adaptive embedding plays a crucial role in traffic forecasting by effectively capturing intrinsic spatio-temporal relations and chronological information in traffic time series.

研究动机与目标

• 通过关注数据表示而非日益复杂的模型来推动交通预测改进。
• 引入一种新颖的时空自适应嵌入（Ea），以补充现有的特征嵌入和周期性嵌入。
• 表明当配备 Ea 时，vanilla Transformer 在标准基准上可以达到最先进的结果。
• 通过消融研究展示 Ea、周期性嵌入以及 Transformer 组件在捕捉时空模式中的重要性。

提出的方法

• 发展一个嵌入层，将特征嵌入（Ef）、周期性嵌入（Ep）和时空自适应嵌入（Ea）结合起来，形成丰富的输入表示 Z = Ef || Ep || Ea。
• 在时间和空间轴上应用 vanilla Transformer 块以建模时间和空间依赖关系，随后是用于预测的回归层。
• 在六个交通数据集上进行评估（METR-LA, PEMS-BAY, PEMS03, PEMS04, PEMS07, PEMS08），预测时 horizon up to 60 minutes。
• 进行消融研究，去掉 Ea、Ep、时间变换器层，或空间/时序变换器，以评估各组件的贡献。

实验结果

研究问题

• RQ1 当配备时空自适应嵌入时，vanilla Transformer 能否在交通预测中实现具有竞争力或最先进的性能？
• RQ2 提出的嵌入（Ef、Ep、Ea）如何有助于建模交通时间序列中的内在时空与时序关系？
• RQ3 包含或移除时空 Transformer 组件对预测精度有何影响？

主要发现

• STAEformer 相对于多种基线，在六个真实世界交通预测基准上实现了最先进的性能。
• 时空自适应嵌入 Ea 在捕捉内在的时空关系和时间信息方面起着关键作用。
• 消融研究显示去除 Ea、Ep 或 Transformer 组件会降低性能，强调了时序和时空 Transformer 的必要性。
• 对输入在时间上做打乱会导致基于 Ea 的模型相比于空间嵌入有更大的性能下降，表明 Ea 在编码时间顺序方面的有效性。