[论文解读] ST-MLP: A Cascaded Spatio-Temporal Linear Framework with Channel-Independence Strategy for Traffic Forecasting

Zepu Wang, Yuqi Nie+4 more|arXiv (Cornell University)|Aug 14, 2023

Traffic Prediction and Management Techniques被引用 15

一句话总结

ST-MLP 是一种简洁的级联基于 MLP 的时空模型，利用通道独立性和预定义图引导来预测交通，在更高效的情况下超越最先进的 STGNNs。

ABSTRACT

The criticality of prompt and precise traffic forecasting in optimizing traffic flow management in Intelligent Transportation Systems (ITS) has drawn substantial scholarly focus. Spatio-Temporal Graph Neural Networks (STGNNs) have been lauded for their adaptability to road graph structures. Yet, current research on STGNNs architectures often prioritizes complex designs, leading to elevated computational burdens with only minor enhancements in accuracy. To address this issue, we propose ST-MLP, a concise spatio-temporal model solely based on cascaded Multi-Layer Perceptron (MLP) modules and linear layers. Specifically, we incorporate temporal information, spatial information and predefined graph structure with a successful implementation of the channel-independence strategy - an effective technique in time series forecasting. Empirical results demonstrate that ST-MLP outperforms state-of-the-art STGNNs and other models in terms of accuracy and computational efficiency. Our finding encourages further exploration of more concise and effective neural network architectures in the field of traffic forecasting.

研究动机与目标

• 在日益复杂的 STGNN 领域，提出轻量级架构以实现准确的交通预测。
• 利用通道独立性来缓解多变量时间序列中的分布偏移和过拟合。
• 在级联的 MLP 框架中同时融入预定义的图结构与潜在的空间线索。
• 证明级联系统、基于 CI 的设计在准确性和效率方面可超越复杂的 STGNNs。

提出的方法

• 用三个嵌入流表示时空数据：时序（TD 与 DW）、空间（预定义图和未知空间线索）以及数据嵌入。
• 通过三个 MLP 模块（A、B、C）以级联方式处理嵌入，构建时空嵌入，然后通过线性层映射到预测。
• 通过在时域内操作来保持通道独立性；避免跨通道混合以降低分布偏移和过拟合。
• 通过从邻接矩阵学习一个空间嵌入并将其与未知空间线索结合，来融入预定义的图信息。
• 以12步从历史到预测的窗口进行训练，并在15、30和60分钟的预测 horizon 上使用 MAE、RMSE 和 MAPE 进行评估。

实验结果

研究问题

• RQ1 一个基于级联的、以 MLP 为基础、具有通道独立性的模型，是否在交通预测方面与 STGNNs 相比仍具竞争力？
• RQ2 同时结合预定义的图结构与学习得到的空间线索，是否比仅使用其中一种时能提升性能？
• RQ3 在分布偏移鲁棒性和对交通数据集的泛化方面，CI/ST-MLP 与 CM 变体相比表现如何？

主要发现

数据集	预测时长	模型	MAE	RMSE	MAPE	数据集	预测时长	模型	MAE	RMSE	MAPE

• 与十余个基线相比（包括 STGNNs 和最近的时间序列模型），ST-MLP 在多个交通数据集（PEMS-BAY、PEMS04、PEMS07、PEMS08）上达到了最佳或具竞争力的精度。
• 级联嵌入设计在预测性能上优于简单拼接方法。
• 通道独立性对分布偏移具鲁棒性并有更好的泛化性，相比之下跨通道混合（CM）变体在测试精度较低，尽管训练误差较低。
• ST-MLP 的训练时间显著快于 STGNNs，凸显了简单的基于 MLP 架构带来的效率提升。
• 时序嵌入（Time in Day）成为最关键的组件，与图基和未知空间嵌入结合时可带来额外增益。
• 消融实验证实级联结构的好处：移除嵌入组件或使用非级联融合会降低性能。