[论文解读] Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction

Jiahao Ji, Jingyuan Wang+6 more|arXiv (Cornell University)|Dec 7, 2022

Traffic Prediction and Management Techniques被引用 13

一句话总结

本文提出 ST-SSL，一种新颖的时空自监督学习框架，通过自适应图增强和双重自监督任务，对交通流预测中的空间与时间异质性进行建模。该方法在四个基准数据集上优于最先进基线模型，通过学习鲁棒且具备异质性感知能力的表征，实现优异性能。

ABSTRACT

Robust prediction of citywide traffic flows at different time periods plays a crucial role in intelligent transportation systems. While previous work has made great efforts to model spatio-temporal correlations, existing methods still suffer from two key limitations: i) Most models collectively predict all regions' flows without accounting for spatial heterogeneity, i.e., different regions may have skewed traffic flow distributions. ii) These models fail to capture the temporal heterogeneity induced by time-varying traffic patterns, as they typically model temporal correlations with a shared parameterized space for all time periods. To tackle these challenges, we propose a novel Spatio-Temporal Self-Supervised Learning (ST-SSL) traffic prediction framework which enhances the traffic pattern representations to be reflective of both spatial and temporal heterogeneity, with auxiliary self-supervised learning paradigms. Specifically, our ST-SSL is built over an integrated module with temporal and spatial convolutions for encoding the information across space and time. To achieve the adaptive spatio-temporal self-supervised learning, our ST-SSL first performs the adaptive augmentation over the traffic flow graph data at both attribute- and structure-levels. On top of the augmented traffic graph, two SSL auxiliary tasks are constructed to supplement the main traffic prediction task with spatial and temporal heterogeneity-aware augmentation. Experiments on four benchmark datasets demonstrate that ST-SSL consistently outperforms various state-of-the-art baselines. Since spatio-temporal heterogeneity widely exists in practical datasets, the proposed framework may also cast light on other spatial-temporal applications. Model implementation is available at https://github.com/Echo-Ji/ST-SSL.

研究动机与目标

• 解决现有模型因城市区域间交通分布不均而难以捕捉空间异质性的问题。
• 克服共享时间参数化在建模随时间变化的交通模式（尤其是不同日期或时段之间）时的失败问题。
• 开发一种自监督框架，以增强表征学习能力，而无需依赖手工设计特征或过多参数。
• 通过在潜在表征空间中引入时空异质性感知，提升城市级交通预测的泛化能力与鲁棒性。

提出的方法

• 在图神经网络中整合时空卷积，以跨区域编码时空交通模式。
• 设计一种自适应数据增强策略，根据区域交通异质性动态调整节点属性与图结构。
• 引入基于软聚类的空间自监督任务，以学习区域特定模式并提升不同城市功能区域之间的判别能力。
• 设计一种时间感知对比学习任务，通过区分不同时段动态来保留时间异质性。
• 将主交通预测任务与两个辅助自监督任务相结合，以提升表征质量与泛化能力。
• 在具有空间连通性与时间序列特性的图结构化真实世界交通数据上应用该框架。

实验结果

研究问题

• RQ1 自监督学习框架能否有效建模不同城市区域间交通流分布的空间异质性？
• RQ2 如何在统一的表征空间中捕捉时间异质性（如工作日与节假日之间的差异）？
• RQ3 自适应图增强是否能通过更真实地反映城市功能的相似性与差异性，从而提升模型性能？
• RQ4 所提出的自监督辅助任务在多大程度上提升了主预测任务的鲁棒性与准确性？

主要发现

• ST-SSL 在四个基准交通数据集上的 MAE 与 RMSE 指标上，持续优于多个最先进基线模型。
• 该模型在高流量与低流量区域均表现出色，显示出对热门或密集区域的偏差更小。
• t-SNE 可视化结果表明，ST-SSL 的嵌入在类别内更紧凑，类别间更易分离，表明表征学习能力得到提升。
• 自适应图增强成功移除了功能不相似区域之间的低相关性连接，并在功能相似区域之间建立了长距离依赖关系。
• 所提出的自监督任务显著提升了模型在无需外部特征情况下的跨多样化交通模式泛化能力。
• 该框架在具有复杂时空动态（包括星期几与节假日变化）的真实场景中表现出良好的泛化能力。