[论文解读] TrafFormer: A Transformer Model for Predicting Long-term Traffic

David Alexander Tedjopurnomo, Farhana Choudhury+1 more|arXiv (Cornell University)|Feb 24, 2023

Traffic Prediction and Management Techniques被引用 5

一句话总结

TrafFormer 提出了一种基于 Transformer 的新型模型，用于提前 24 小时的长期交通预测，通过使用时空多头注意力机制和可学习的时间-日期嵌入，克服了循环模型的局限性，以捕捉复杂的时序模式。实验表明，该模型在 METR-LA 和 PEMS-Bay 数据集上，相较于现有混合深度学习模型，在多个指标上表现更优。

ABSTRACT

Traffic prediction is a flourishing research field due to its importance in human mobility in the urban space. Despite this, existing studies only focus on short-term prediction of up to few hours in advance, with most being up to one hour only. Long-term traffic prediction can enable more comprehensive, informed, and proactive measures against traffic congestion and is therefore an important task to explore. In this paper, we explore the task of long-term traffic prediction; where we predict traffic up to 24 hours in advance. We note the weaknesses of existing models--which are based on recurrent structures--for long-term traffic prediction and propose a modified Transformer model "TrafFormer". Experiments comparing our model with existing hybrid neural network models show the superiority of our model.

研究动机与目标

• 填补长期交通预测研究中的空白，因为现有研究仅关注最多 1 小时的短期预测。
• 克服循环神经网络在长时程预测中因误差传播导致的不稳定性问题。
• 开发一种新型深度学习架构，以有效捕捉短期、中期和长期的交通模式。
• 提出一种新型基于 Transformer 的模型 TrafFormer，结合时空多头注意力机制和可学习的时间-日期嵌入。
• 在日前交通预测任务中，相比最先进混合神经网络模型，展现出更优的性能。

提出的方法

• 提出 TrafFormer，一种专为 24 小时预测时域设计的改进型 Transformer 模型。
• 引入一种时空多头注意力机制，用于建模不同时间步和传感器位置之间的依赖关系。
• 使用可学习的时间-日期嵌入来编码跨小时和天的时序模式，以捕捉中期和长期趋势。
• 用自注意力机制替代循环结构，避免在长序列中产生误差累积。
• 在历史交通速度和流量数据（来自环形检测器）上端到端训练模型，输入同时包含过去一小时和过去一天的数据。
• 应用针对周期性时间与日期特征进行调整的位置编码，以提升对时序周期性的建模能力。

Figure 2: The time-day embedding process

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能在长期交通预测（最多 24 小时）中优于基于循环神经网络的模型？
• RQ2 与静态周期性特征相比，可学习的时间-日期嵌入在捕捉中期和长期交通模式方面效果如何？
• RQ3 过去一小时数据与过去一天数据对长期预测精度的贡献分别是什么？
• RQ4 时空多头注意力机制如何在多个传感器和时间步上提升模型性能？
• RQ5 通过消融研究，TrafFormer 架构中哪些组件对性能影响最大？

主要发现

• 在 METR-LA 和 PEMS-Bay 数据集上，TrafFormer 在所有评估指标（RMSE、MAE、MAPE）上均优于基线模型，表现最佳。
• 消融研究证实，时间-日期嵌入显著提升了模型性能，当替换为周期性特征时性能明显下降。
• 仅使用过去一小时数据（仅小时设置）的性能劣于使用过去一天数据，表明中期模式的重要性。
• 仅使用日期数据的设置表现较差，原因是训练序列中存在较大间隔（2 小时），影响了学习效率和模型稳定性。
• 仅使用速度数据的输入表现不佳，证实了时空上下文对准确长期预测至关重要。
• 时空多头注意力机制能有效建模传感器与时间步之间的复杂依赖关系，显著提升了模型的泛化能力。

Figure 3: Roads covered by the two datasets.