[论文解读] ST-UNet: A Spatio-Temporal U-Network for Graph-structured Time Series Modeling

Bing Yu, Haoteng Yin+1 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Graph Neural Networks参考文献 26被引用 50

一句话总结

ST-UNet 引入了一个带有 ST-Pool/ST-Unpool 和 GCGRU 的时空 U-Net，用以在多种空间与时间尺度上建模并预测图结构时间序列，在交通数据集上取得了最先进的结果。

ABSTRACT

The spatio-temporal graph learning is becoming an increasingly important object of graph study. Many application domains involve highly dynamic graphs where temporal information is crucial, e.g. traffic networks and financial transaction graphs. Despite the constant progress made on learning structured data, there is still a lack of effective means to extract dynamic complex features from spatio-temporal structures. Particularly, conventional models such as convolutional networks or recurrent neural networks are incapable of revealing the temporal patterns in short or long terms and exploring the spatial properties in local or global scope from spatio-temporal graphs simultaneously. To tackle this problem, we design a novel multi-scale architecture, Spatio-Temporal U-Net (ST-UNet), for graph-structured time series modeling. In this U-shaped network, a paired sampling operation is proposed in spacetime domain accordingly: the pooling (ST-Pool) coarsens the input graph in spatial from its deterministic partition while abstracts multi-resolution temporal dependencies through dilated recurrent skip connections; based on previous settings in the downsampling, the unpooling (ST-Unpool) restores the original structure of spatio-temporal graphs and resumes regular intervals within graph sequences. Experiments on spatio-temporal prediction tasks demonstrate that our model effectively captures comprehensive features in multiple scales and achieves substantial improvements over mainstream methods on several real-world datasets.

研究动机与目标

• 激励并建模随时间变化的动态时空图，其中空间和时间依赖关系都会变化。
• 开发多尺度的 U 形架构以捕捉局部与全局的时空模式。
• 提出在图上高效的时空池化和反池化算子。
• 将图卷积门控循环单元作为序列建模的骨干网络。
• 在真实交通数据集上证明预测精度的提升，并验证各组件的有效性。

提出的方法

• 将 U-Net 泛化为时空图的 Spatio-Temporal U-Net（ST-UNet）。
• 使用图卷积门控循环单元（GCGRU）作为骨干，在图上建模时间动态。
• 引入 ST-Pool 通过确定性划分（gPartition）对图进行粗化，并通过扩张的循环跳跃连接聚合时序特征。
• 引入 ST-Unpool 以恢复原始图结构和时序依赖，提供三种上采样策略（直接拷贝、有序反卷积、加权反卷积）。
• 通过跳跃连接将高层池化特征与上采样输出融合，实现多尺度特征融合。
• 采用多尺度特征学习，在短期预测中预测未来节点属性或整个图。

实验结果

研究问题

• RQ1 多尺度、U 形架构是否可以有效地应用于图结构时间序列，以同时捕捉局部和全局的时空模式？
• RQ2 时空池化和反池化操作是否会比平面或单尺度模型带来更高的预测准确性？
• RQ3 扩张型循环跳跃连接和 GCGRU 骨干如何促进对动态图的多分辨率时间建模？
• RQ4 ST-Unpool 中哪种上采样策略在准确性与鲁棒性之间取得最佳平衡？
• RQ5 ST-UNet 在像交通网络这样的大规模图结构时间序列任务上的性能和可扩展性如何？

主要发现

• ST-UNet 在 METR-LA 和 PeMS 数据集上的时空交通预测中，始终优于基线（GCGRU、STGCN、DCRNN）。
• ST-UNet 在两个数据集的15、30和60分钟预测时距下取得最佳的 MAE、MAPE 和 RMSE。
• 消融研究显示 ST-Pool 和 ST-Unpool 对性能提升有贡献，完整的 ST-UNet 取得最佳结果。
• 在上采样策略中，Direct Copy 通常表现最好，尤其是在较长时距。
• ST-UNet 在大规模图（PeMS-L）上展示了可扩展性优势，而传统的基于 GCN 的模型在此处表现困难。