[论文解读] Spatial Aggregation and Temporal Convolution Networks for Real-time Kriging

Yuankai Wu, Dingyi Zhuang+3 more|arXiv (Cornell University)|Sep 24, 2021

Data Management and Algorithms参考文献 37被引用 15

一句话总结

本文提出SATCN，一种新颖的图神经网络框架，用于实时时空克里金插值，结合了空间聚合网络与时间卷积网络。通过使用掩码策略排除未观测节点，并采用多种聚合函数以捕捉多样的空间依赖关系，SATCN在多种数据集上实现了卓越的插值精度，优于传统及基于GNN的克里金模型，同时对缺失数据具有鲁棒性，并能泛化至未见过的图结构。

ABSTRACT

Spatiotemporal kriging is an important application in spatiotemporal data analysis, aiming to recover/interpolate signals for unsampled/unobserved locations based on observed signals. The principle challenge for spatiotemporal kriging is how to effectively model and leverage the spatiotemporal dependencies within the data. Recently, graph neural networks (GNNs) have shown great promise for spatiotemporal kriging tasks. However, standard GNNs often require a carefully designed adjacency matrix and specific aggregation functions, which are inflexible for general applications/problems. To address this issue, we present SATCN -- Spatial Aggregation and Temporal Convolution Networks -- a universal and flexible framework to perform spatiotemporal kriging for various spatiotemporal datasets without the need for model specification. Specifically, we propose a novel spatial aggregation network (SAN) inspired by Principal Neighborhood Aggregation, which uses multiple aggregation functions to help one node gather diverse information from its neighbors. To exclude information from unsampled nodes, a masking strategy that prevents the unsampled sensors from sending messages to their neighborhood is introduced to SAN. We capture temporal dependencies by the temporal convolutional networks, which allows our model to cope with data of diverse sizes. To make SATCN generalizable to unseen nodes and even unseen graph structures, we employ an inductive strategy to train SATCN. We conduct extensive experiments on three real-world spatiotemporal datasets, including traffic speed and climate recordings. Our results demonstrate the superiority of SATCN over traditional and GNN-based kriging models.

研究动机与目标

• 解决现有时空克里金模型依赖固定邻接矩阵且难以泛化至未见空间结构的局限性。
• 开发一种灵活的归纳性框架，实现对未采样位置的精确信号插值，且无需为新图重新训练模型。
• 通过结合多种聚合函数与时间卷积网络，提升对复杂时空依赖关系的建模能力。
• 增强对缺失数据的鲁棒性，尤其在高达50%观测缺失的场景下。
• 实现对时变传感器网络（如移动传感器或众包数据系统）的泛化能力。

提出的方法

• 提出一种受主邻域聚合启发的空间聚合网络（SAN），采用多种聚合函数（均值、标准差、归一化均值）以捕捉多样的邻域信息。
• 引入一种掩码策略，阻止从未观测（未采样）节点向其他节点传递消息，以防止无效信息的传播。
• 采用具有可学习卷积核的时间卷积网络（TCNs），以建模时间依赖关系并处理可变长度的时间窗口。
• 采用归纳式训练策略，通过算法1生成合成图掩码，模拟未见节点，以提升对新图结构的泛化能力。
• 在堆叠架构（SATCN模块）中结合SAN与TCN，通过调节深度与宽度的超参数以平衡性能与过拟合。
• 采用多头聚合器设计，结合缩放器（对数、反对数），在保持计算效率的同时增强特征表达能力。

实验结果

研究问题

• RQ1 基于GNN的框架是否能在无需预定义邻接矩阵或大量超参数调优的情况下实现更优的克里金性能？
• RQ2 对未观测节点进行掩码处理如何影响时空克里金模型的泛化能力与准确性？
• RQ3 多种聚合函数与缩放器在多大程度上提升了模型捕捉复杂空间依赖关系的能力？
• RQ4 SATCN架构的深度与宽度在真实世界时空数据集上的性能与收敛性方面有何影响？
• RQ5 模型是否能泛化至未见图结构，并在高缺失数据率下保持高精度？

主要发现

• SATCN在三个真实世界数据集（包括交通速度与全球气温记录）上均优于传统克里金与基于GNN的基线模型。
• 采用全部聚合器与缩放器（均值、归一化均值、标准差及对数缩放器）的模型取得最低的MAE，证明多维邻域表征的重要性。
• 不包含均值聚合器的模型（WME）表现最差，表明基于均值的聚合在克里金插值中捕捉最关键的空间信息。
• 采用两模块SATCN架构且隐藏单元数为32时达到最优性能；更深的模型（三模块）表现下降，因其引入了无关的远距离信息。
• 隐藏单元数为64与128的模型在测试MAE上表现出更低的方差，但相较于32单元的模型，准确率无显著提升。
• 在10至30个模拟缺失位置（nm）下进行训练可提升泛化能力；但nm值过高（如70）会因图稀疏化与不稳定性导致性能下降。