[论文解读] Taming Local Effects in Graph-based Spatiotemporal Forecasting

Andrea Cini, Ivan Marisca+2 more|arXiv (Cornell University)|Feb 8, 2023

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出一种框架，通过使用可训练节点嵌入来分摊学习节点特定组件的负担，从而有效建模基于图的时空预测中的局部效应。通过将这些嵌入整合到全局STGNN架构中，该方法在保持模型效率的同时，实现了更优的预测精度和迁移能力——尤其在仅用少量数据微调新节点时表现突出，且能够实现结构化、正则化的嵌入空间，揭示时间序列之间的有意义相似性。

ABSTRACT

Spatiotemporal graph neural networks have shown to be effective in time series forecasting applications, achieving better performance than standard univariate predictors in several settings. These architectures take advantage of a graph structure and relational inductive biases to learn a single (global) inductive model to predict any number of the input time series, each associated with a graph node. Despite the gain achieved in computational and data efficiency w.r.t. fitting a set of local models, relying on a single global model can be a limitation whenever some of the time series are generated by a different spatiotemporal stochastic process. The main objective of this paper is to understand the interplay between globality and locality in graph-based spatiotemporal forecasting, while contextually proposing a methodological framework to rationalize the practice of including trainable node embeddings in such architectures. We ascribe to trainable node embeddings the role of amortizing the learning of specialized components. Moreover, embeddings allow for 1) effectively combining the advantages of shared message-passing layers with node-specific parameters and 2) efficiently transferring the learned model to new node sets. Supported by strong empirical evidence, we provide insights and guidelines for specializing graph-based models to the dynamics of each time series and show how this aspect plays a crucial role in obtaining accurate predictions.

研究动机与目标

• 理解基于图的时空预测中全局建模与局部建模之间的权衡。
• 通过提供概念性和方法论框架，解释STGNN中节点特定参数的经验成功。
• 开发一种机制，以不增加模型复杂度的方式高效学习和迁移节点特定动态。
• 通过仅用有限数据训练节点嵌入，实现对新节点的有效迁移学习。
• 提供正则化策略以揭示节点嵌入中的有意义相似性，提升模型泛化能力。

提出的方法

• 将可训练节点嵌入集成到全局STGNN的编码器和解码器中，以建模节点特定动态。
• 采用混合全局-局部架构，其中共享的消息传递层处理空间依赖关系，而节点嵌入则对每个节点进行模型特化。
• 对嵌入空间应用变分正则化和基于聚类的正则化，以结构化嵌入空间并促进相关时间序列之间的语义相似性。
• 端到端训练聚类分配机制，使其与预测模型对齐，以使嵌入与底层时间序列模式保持一致。
• 通过仅在新节点上初始化或微调节点嵌入，而保持全局模型冻结，实现零样本和少样本迁移学习。
• 使用t-SNE可视化和簇内分析，解释学习到的嵌入空间，并验证有意义簇的出现。

实验结果

研究问题

• RQ1 节点特定组件在基于图的时空模型中如何提升预测性能？
• RQ2 可训练节点嵌入是否能在不增加模型复杂度的前提下，有效分摊局部组件的学习负担？
• RQ3 在仅使用极少微调数据的情况下，节点嵌入在多大程度上能实现对新节点的有效迁移学习？
• RQ4 通过正则化对嵌入空间进行结构化，如何提升模型的泛化能力和可解释性？
• RQ5 不同嵌入正则化技术（如变分、聚类）对预测精度和迁移能力的影响如何？

主要发现

• 与完全全局模型相比，节点嵌入显著提升了预测精度：在PEMS04上，使用聚类正则化嵌入时，相对MAE降低了5.5%（21.59 vs. 19.91 MAE）。
• 仅微调节点嵌入的性能优于微调整个全局模型，尤其在低数据场景下表现更优，例如在PEMS08上使用一周微调数据时，MAE为15.41。
• 基于聚类的正则化效果最佳：在仅用三天数据微调时，与全局基线相比，PEMS04上的MAE降低了1.68。
• 嵌入空间学习到了有意义的结构：t-SNE可视化和聚类分析揭示了各簇之间存在明显不同的负荷模式，证实嵌入捕捉到了真实世界中的相似性。
• 使用源域嵌入进行零样本迁移优于微调全局模型，在PEMS04上实现了2.7%的MAE改进，证明了更强的迁移能力。
• 正则化嵌入实现了有效的少样本适应：即使仅用一天微调数据，模型仍保持强劲性能，在PEMS04上比全局基线高出0.27 MAE。