[论文解读] Variational Graph Recurrent Neural Networks

Ehsan Hajiramezanali, Arman Hasanzadeh+4 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Graph Neural Networks参考文献 26被引用 84

一句话总结

本文提出 VGRNN 和 SI-VGRNN，是层级变分模型，将动态图中的节点嵌入为潜在随机向量，以联合建模不断演变的拓扑和节点属性，通过半隐式变分推断实现灵活的后验。

ABSTRACT

Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant. In this paper, we develop a novel hierarchical variational model that introduces additional latent random variables to jointly model the hidden states of a graph recurrent neural network (GRNN) to capture both topology and node attribute changes in dynamic graphs. We argue that the use of high-level latent random variables in this variational GRNN (VGRNN) can better capture potential variability observed in dynamic graphs as well as the uncertainty of node latent representation. With semi-implicit variational inference developed for this new VGRNN architecture (SI-VGRNN), we show that flexible non-Gaussian latent representations can further help dynamic graph analytic tasks. Our experiments with multiple real-world dynamic graph datasets demonstrate that SI-VGRNN and VGRNN consistently outperform the existing baseline and state-of-the-art methods by a significant margin in dynamic link prediction.

研究动机与目标

• 激励在拓扑和属性随时间演变的动态图中进行节点嵌入。
• 提出一个增强了潜在随机变量的动态图自编码器（GRNN），以捕捉不确定性。
• 通过使用高级潜在变量和通过半隐式变分推断实现灵活后验来增强表达能力。
• 通过学习时间条件化先验和自回归图结构来实现未来链接预测。

提出的方法

• 将图卷积网络（GCN）与递归网络结合，形成图递归神经网络（GRNN）。
• 将 GRNN 拓展为带变分编码器/解码器，以建模节点潜在分布（VGRNN）。
• 将先验条件化在前一时刻的隐藏状态 h_{t-1} 上，并通过神经映射 φ^{prior} 允许灵活的先验。
• 使用内积解码器 p(A^{(t)}|Z^{(t)})，用 Z^{(t)} 潜在变量生成邻接矩阵。
• 通过基于 GNN 的编码器推断后验 q(Z^{(t)}|A^{(t)},X^{(t)},h_{t-1})；在 SI-VGRNN 中包含半隐式增强。
• 对跨时间优化变分下界（ELBO），捕捉动态图中的时间依赖。

实验结果

研究问题

• RQ1 如何用能捕捉不确定性与时序演化的节点嵌入来表示动态图？
• RQ2 将随机潜在变量与图递归结构整合，是否比确定性基线在动态图链接预测上更优？
• RQ3 半隐式变分推断是否能为动态图嵌入提供更具表达力的后验分布？
• RQ4 提出的模型如何处理随时间变化的节点/边集合，并实现归纳和传导任务？

主要发现

• VGRNN 和 SI-VGRNN 在多個真实数据集上的动态图链接预测任务中，持续显著优于基线与最先进方法。
• 引入随机潜在变量比确定性隐藏状态更好地建模动态图中的变异性与不确定性。
• SI-VGRNN 的半隐式后验提供更灵活的潜在表征，当有节点属性时，往往优于 VGRNN。
• 当图更稀疏、聚类性更低时，方法的优势更明显，因时间趋势更难用确定性模型捕捉。
• 基于过去状态构建的先验使未来链接预测成为可能，包括动态图（新链接）预测，超越静态 VGAE 的能力。