[论文解读] Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full Version

Razvan-Gabriel Cirstea, Bin Yang+3 more|arXiv (Cornell University)|Mar 29, 2022

Traffic Prediction and Management Techniques被引用 4

一句话总结

该论文提出了一种模型无关的框架，通过利用随机潜在变量生成位置特定且随时间变化的注意力参数，以增强交通时间序列预测中的时空感知能力。通过将这些参数整合到自注意力机制中，并引入一种线性复杂度的窗口注意力机制，该方法在四个真实世界数据集上实现了最先进的准确率和效率，优于现有的时空无关模型。

ABSTRACT

Traffic time series forecasting is challenging due to complex spatio-temporal dynamics time series from different locations often have distinct patterns; and for the same time series, patterns may vary across time, where, for example, there exist certain periods across a day showing stronger temporal correlations. Although recent forecasting models, in particular deep learning based models, show promising results, they suffer from being spatio-temporal agnostic. Such spatio-temporal agnostic models employ a shared parameter space irrespective of the time series locations and the time periods and they assume that the temporal patterns are similar across locations and do not evolve across time, which may not always hold, thus leading to sub-optimal results. In this work, we propose a framework that aims at turning spatio-temporal agnostic models to spatio-temporal aware models. To do so, we encode time series from different locations into stochastic variables, from which we generate location-specific and time-varying model parameters to better capture the spatio-temporal dynamics. We show how to integrate the framework with canonical attentions to enable spatio-temporal aware attentions. Next, to compensate for the additional overhead introduced by the spatio-temporal aware model parameter generation process, we propose a novel window attention scheme, which helps reduce the complexity from quadratic to linear, making spatio-temporal aware attentions also have competitive efficiency. We show strong empirical evidence on four traffic time series datasets, where the proposed spatio-temporal aware attentions outperform state-of-the-art methods in term of accuracy and efficiency. This is an extended version of "Towards Spatio-Temporal Aware Traffic Time Series Forecasting", to appear in ICDE 2022 [1], including additional experimental results.

研究动机与目标

• 为解决现有时空无关深度学习模型在交通预测中的局限性，这些模型假设参数在不同位置和时间段内保持一致。
• 实现对随空间位置和时间窗口而变化的交通模式的动态、位置特定建模。
• 开发一种高效的注意力机制，在保持高性能的同时降低计算复杂度。
• 通过实证验证该框架在真实世界交通数据集上相较于最先进方法在准确率和效率方面的优越性。
• 证明所学习的随机变量能够有效捕捉交通时间序列中的独特时空动态。

提出的方法

• 该框架利用随机潜在变量生成位置特定且随时间变化的注意力参数，实现对时空模式的动态适应。
• 将这些学习到的参数整合到标准多头自注意力机制中，构建出具有时空感知能力的注意力层。
• 提出一种新颖的窗口注意力机制，通过聚合令牌的局部窗口，将注意力复杂度从二次方降低为线性。
• 聚合函数采用可学习的基于注意力的聚合器来组合代理表示，优于简单的平均聚合。
• 通过历史交通时间序列上的重构损失进行端到端训练，利用随机参数生成在时间和空间上共享参数。
• 使用 t-SNE 可视化来解释所学习的随机变量，确认其能够捕捉到独特的时空模式。

实验结果

研究问题

• RQ1 一种模型无关的框架是否能通过生成动态、位置特定的注意力参数，有效增强交通预测中的时空感知能力？
• RQ2 与标准自注意力机制相比，所提出的窗口注意力机制如何在降低计算复杂度的同时保持性能？
• RQ3 所学习的随机变量在多大程度上反映了真实交通数据中的实际时空模式？
• RQ4 将时空感知注意力机制集成后，是否能在多种交通数据集上带来可测量的预测准确率提升？
• RQ5 聚合函数的选择如何影响模型的性能和鲁棒性？

主要发现

• 所提出的时空感知注意力机制在四个真实世界交通预测数据集上实现了最先进性能，Pems04 数据集上的 MAE 为 23.54，MAPE 为 16.52，RMSE 为 36.87。
• 窗口注意力机制将计算复杂度从二次方降低为线性，实现了对长历史序列的高效处理，如在 H=120 时训练运行时间保持稳定。
• 该模型在准确率和训练效率方面均优于强基线模型如 STFGNN、AGCRN 和 EnhanceNet，尤其在长序列预测任务中表现更优。
• t-SNE 可视化结果表明，所学习的随机变量能够捕捉到不同的时间动态，不同聚类对应时间序列中的上升/下降趋势。
• 当使用简单平均聚合器而非所提出的可学习聚合器时，模型性能显著下降，验证了该设计选择的有效性。
• 相同道路上的传感器在潜在空间中形成空间上一致的聚类，而同一道路相反方向的传感器则被分离，表明模型有效捕捉了空间模式。