[论文解读] TRAILER: Transformer-based Time-wise Long Term Relation Modeling for Citywide Traffic Flow Prediction.

Hao Xue, Flora D. Salim|arXiv (Cornell University)|Nov 11, 2020

Traffic Prediction and Management Techniques参考文献 12被引用 2

一句话总结

TRAILER 提出了一种基于 Transformer 的架构，通过专用的长期关系模块显式捕捉周期性模式，并利用一致性模块和损失函数强制预测的关系与交通流之间保持一致，从而在城市交通流预测中建模长期时间依赖关系。该方法在三个真实世界数据集上实现了最先进性能。

ABSTRACT

Traffic flow prediction is a crucial task in enabling efficient intelligent transportation systems and smart cities. Although there has been rapid progress in this area in the last few years, given the major advances of deep learning techniques, it remains a challenging task because of the inherent periodic characteristics of traffic flow sequence. To incorporate the periodicity in the prediction process, existing methods have observed three components separately as the input of prediction models, i.e., the closeness, period, and trend components. The long term relation of these components has not been fully addressed. In this paper, we present a novel architecture, TRAILER (TRAnsformer-based tIme-wise Long tErm Relation modeling), to predict traffic flows more effectively. First, we explicitly design a Transformer based long term relation prediction module to model the long term relation and predict the periodic relation to be used for the downstream task. Second, we propose a consistency module at the target time interval, in order to model the consistency of the predicted periodic relation and the relation inferred from the predicted traffic flow tensor. Finally, based on the consistency module, we introduce a consistency loss to stabilize the training process and further improve the prediction performance. Through extensive experiments, we show the superiority of the proposed method on three real-world datasets and the effectiveness of each module in TRAILER.

研究动机与目标

• 为解决建模交通流序列中长期时间依赖关系（尤其是其周期性特征）的挑战。
• 显式捕捉并预测交通数据中接近度、周期性和趋势分量之间的周期性关系。
• 通过强制预测的周期性关系与实际交通流预测之间的一致性，提升训练稳定性和预测准确性。
• 开发一个统一框架，将长期关系建模与端到端交通流预测相结合。

提出的方法

• 引入基于 Transformer 的长期关系预测模块，以建模跨多个时间尺度的时间依赖关系。
• 设计一致性模块，将预测的周期性关系与目标时间区间预测交通流张量所推导出的关系对齐。
• 提出一致性损失，惩罚预测周期性关系与从预测流量中推断出的关系之间的差异，从而稳定训练过程。
• 在输入 TRAILER 架构前，通过分解将交通序列划分为接近度、周期性和趋势分量。
• 利用 Transformer 中的自注意力机制，捕捉在扩展时间范围内的长程依赖关系。
• 采用一致性损失进行端到端训练，联合优化关系建模与交通流预测。

实验结果

研究问题

• RQ1 如何有效建模交通流序列中的长期时间关系，以提升预测准确性？
• RQ2 强制预测周期性关系与从预测流量中推断出的关系之间的一致性，在多大程度上提升了模型的稳定性和性能？
• RQ3 为长期关系学习专门设计的基于 Transformer 的模块，是否能优于传统方法，更有效地捕捉交通数据中的周期性模式？
• RQ4 一致性损失在交通流预测中对训练收敛性和泛化能力有何贡献？

主要发现

• TRAILER 在三个真实世界交通流预测数据集上实现了最先进性能，显著优于现有方法。
• 消融实验表明，长期关系模块和一致性模块均显著提升了预测性能。
• 一致性损失带来了更稳定的训练动态，并降低了不同时间区间上的预测方差。
• 该模型能有效捕捉长期周期性模式，尤其在具有复杂多尺度时间依赖关系的序列中表现突出。
• 显式周期性关系建模的整合提升了泛化能力，特别是在长时程预测场景中。