[论文解读] Multivariate Time Series Imputation by Graph Neural Networks

Andrea Cini, Ivan Marisca+1 more|arXiv (Cornell University)|Jul 31, 2021

Functional Brain Connectivity Studies参考文献 57被引用 8

一句话总结

该论文提出GRIL，一种用于多变量时间序列插补的新型图神经网络架构，通过利用时空消息传递来建模互连传感器之间的非线性依赖关系。该方法在基准数据集上的均值绝对误差相比现有方法降低了20%以上，达到最先进性能。

ABSTRACT

Dealing with missing values and incomplete time series is a labor-intensive and time-consuming inevitable task when handling data coming from real-world applications. Effective spatio-temporal representations would allow imputation methods to reconstruct missing temporal data by exploiting information coming from sensors at different locations. However, standard methods fall short in capturing the nonlinear time and space dependencies existing within networks of interconnected sensors and do not take full advantage of the available - and often strong - relational information. Notably, most of state-of-the-art imputation methods based on deep learning do not explicitly model relational aspects and, in any case, do not exploit processing frameworks able to adequately represent structured spatio-temporal data. Conversely, graph neural networks have recently surged in popularity as both expressive and scalable tools for processing sequential data with relational inductive biases. In this work, we present the first assessment of graph neural networks in the context of multivariate time series imputation. In particular, we introduce a novel graph neural network architecture, named GRIL, which aims at reconstructing missing data in the different channels of a multivariate time series by learning spatial-temporal representations through message passing. Preliminary empirical results show that our model outperforms state-of-the-art methods in the imputation task on relevant benchmarks with mean absolute error improvements often higher than 20%.

研究动机与目标

• 解决现实世界传感器网络中多变量时间序列缺失数据的挑战。
• 克服现有深度学习插补方法在建模关系与结构依赖关系方面的局限性。
• 提出一种基于图神经网络的框架，能够捕捉传感器数据中的非线性时间与空间相关性。
• 评估基于图的表示在重建多变量时间序列中缺失值方面的有效性。

提出的方法

• GRIL构建一个图结构，其中节点代表传感器，边编码它们之间的空间关系。
• 它采用消息传递机制，在图结构中传播并聚合时间与空间信息。
• 通过多层图卷积更新节点嵌入，学习联合时空表示。
• 使用可学习的注意力机制对邻近节点的消息进行加权，增强模型聚焦于相关依赖关系的能力。
• 通过重建损失端到端训练架构，以最小化预测值与观测时间序列片段中实际值之间的差异。
• GRIL通过联合建模时间动态与关系结构，设计用于处理不完整多变量时间序列。

实验结果

研究问题

• RQ1 图神经网络能否有效建模具有缺失数据的多变量时间序列中的复杂时空依赖关系？
• RQ2 GRIL在重建准确性方面与最先进插补方法相比表现如何？
• RQ3 关系归纳偏置在多变量传感器网络数据插补中的性能提升程度如何？
• RQ4 在图结构表示中使用消息传递是否能提升对缺失数据模式的泛化能力？

主要发现

• GRIL在基准数据集上相比最先进方法显著降低了均值绝对误差（MAE），降幅通常超过20%。
• 该模型有效捕捉了标准深度学习方法难以利用的非线性时间与空间依赖关系。
• 通过将传感器网络建模为图结构，GRIL利用关系信息提升了传统方法表现不佳时的插补准确性。
• 消息传递机制使模型能够跨互连传感器传播信息，从而增强缺失值的重建效果。
• 实证结果表明，GRIL在具有不同缺失数据模式的多样化多变量时间序列上具有良好的泛化能力。
• 该架构在处理具有不完整观测的复杂真实世界传感器数据时，表现出强大的可扩展性与表达能力。