[论文解读] Spatio-Temporal Deep Graph Infomax

Felix L. Opolka, A. I. Solomon+4 more|arXiv (Cornell University)|Apr 12, 2019

Health, Environment, Cognitive Aging参考文献 6被引用 16

一句话总结

本文提出时空深度图互信息最大化（STDGI），一种完全无监督的节点表征学习方法，通过最大化局部图块与未来节点特征之间的互信息，以捕捉时空动态。STDGI通过学习编码长期预测信息的表征，提升了下游自回归预测模型的性能，在交通速度预测任务中取得了显著的性能提升。

ABSTRACT

Spatio-temporal graphs such as traffic networks or gene regulatory systems present challenges for the existing deep learning methods due to the complexity of structural changes over time. To address these issues, we introduce Spatio-Temporal Deep Graph Infomax (STDGI)---a fully unsupervised node representation learning approach based on mutual information maximization that exploits both the temporal and spatial dynamics of the graph. Our model tackles the challenging task of node-level regression by training embeddings to maximize the mutual information between patches of the graph, at any given time step, and between features of the central nodes of patches, in the future. We demonstrate through experiments and qualitative studies that the learned representations can successfully encode relevant information about the input graph and improve the predictive performance of spatio-temporal auto-regressive forecasting models.

研究动机与目标

• 解决在结构和时间动态复杂的时空图中学习有意义节点表征的挑战。
• 通过引入时间演化和未来预测，将深度图互信息（DGI）框架扩展至动态图。
• 在回归设置中评估无监督节点表征，而非典型的分类基准。
• 通过注入无监督的、时空感知的嵌入，提升自回归模型的预测性能。
• 证明互信息最大化能够有效捕捉图结构时间序列中的长期依赖关系。

提出的方法

• STDGI 使用图卷积编码器，基于当前特征和图结构，在每个时间步计算节点嵌入。
• 模型通过对比学习设置，最大化时间 t 的节点嵌入与未来时间 t+k 的原始节点特征之间的互信息。
• 训练一个判别器网络，以区分正样本对（同一节点在 t 和 t+k 时刻）和负样本对（t+k 时刻的损坏特征）。
• 为不同未来预测时延（k=1,3,6）训练多个判别器，以捕捉多尺度时间依赖性。
• 该方法以无监督方式训练，表征学习过程中无需真实标签。
• 学习到的嵌入与原始特征拼接后，输入下游基于LSTM的seq2seq模型进行回归。

实验结果

研究问题

• RQ1 互信息最大化能否有效扩展至时空图，以学习有用的节点表征？
• RQ2 所提出的STDGI方法是否能提升自回归模型在节点级回归任务中的预测性能？
• RQ3 与仅使用原始特征相比，无监督嵌入在捕捉长期时间依赖性方面表现如何？
• RQ4 STDGI嵌入能否在不同预测时延上泛化，尤其是较长的时延？
• RQ5 学习到的嵌入相似性是否能预测未来节点特征值？

主要发现

• 在METR-LA数据集的15分钟预测时延上，STDGI嵌入将MAE降低了0.06（从3.67降至3.61）。
• 在15分钟预测中，RMSE降低了0.08（从8.51降至8.28），所有改进均具有统计显著性（p < 0.01）。
• 在60分钟时延上，MAE从6.53降至6.41，RMSE从13.04降至12.79，表明在更长的时间尺度上性能提升更显著。
• 在60分钟预测中，MAPE从13.1%降至12.5%，表明相对误差性能得到改善。
• t-SNE可视化结果证实，嵌入相似性与未来速度相似性相关，验证了表征编码了有意义的长期动态。
• 该方法在所有时延上均优于LSTM基线模型，且随着预测窗口增大，性能提升更加明显。