[论文解读] Semi-Implicit Graph Variational Auto-Encoders

Arman Hasanzadeh, Ehsan Hajiramezanali+4 more|arXiv (Cornell University)|Aug 19, 2019

Ferroelectric and Negative Capacitance Devices参考文献 38被引用 42

一句话总结

SIG-VAE 引入了一种半隐式、分层的图自编码框架，具有邻居感知的后验共享和 Bernoulli-Poisson 解码器，在链接预测和解释性潜在表征方面表现优越。

ABSTRACT

Semi-implicit graph variational auto-encoder (SIG-VAE) is proposed to expand the flexibility of variational graph auto-encoders (VGAE) to model graph data. SIG-VAE employs a hierarchical variational framework to enable neighboring node sharing for better generative modeling of graph dependency structure, together with a Bernoulli-Poisson link decoder. Not only does this hierarchical construction provide a more flexible generative graph model to better capture real-world graph properties, but also does SIG-VAE naturally lead to semi-implicit hierarchical variational inference that allows faithful modeling of implicit posteriors of given graph data, which may exhibit heavy tails, multiple modes, skewness, and rich dependency structures. Compared to VGAE, the derived graph latent representations by SIG-VAE are more interpretable, due to more expressive generative model and more faithful inference enabled by the flexible semi-implicit construction. Extensive experiments with a variety of graph data show that SIG-VAE significantly outperforms state-of-the-art methods on several different graph analytic tasks.

研究动机与目标

• 提出在 VGAEs 中进行灵活后验建模的必要性，以捕捉现实世界图的属性与不确定性。
• 提出一种半隐式分层变分框架，在传播图邻域信息的同时实现隐式后验。
• 引入 Bernoulli-Poisson 解码器，以更好地建模现实世界的稀疏图。
• 通过大量实验证明，SIG-VAE 在链接预测、图生成和节点分类方面优于最先进的基线模型。

提出的方法

• 引入一个分层编码器，通过 GNN 注入随机层并传播邻居信息（方程 5-6）。
• 采用半隐式变分推断（SIVI）方法，利用可处理的下界对隐式后验进行建模（方程 1、2、8）。
• 使用 Bernoulli-Poisson 链接解码器生成稀疏图（方程 7）。
• 与 SIVI-VGAE 和 NF-VGAE 基线进行对比，展示邻域分布共享的好处。
• 端到端训练，使用基于 ELBO 的优化以及对隐式后验的蒙特卡罗估计。

实验结果

研究问题

• RQ1 半隐式分层变分框架是否能比标准 VGAEs 更好地捕捉图结构数据中的复杂后验分布？
• RQ2 整合邻居分布共享是否能提升图依赖建模以及如链接预测和聚类等下游任务的表现？
• RQ3 相比于内积解码器，Bernoulli-Poisson 解码器是否能更好地建模现实世界的稀疏图？
• RQ4 在有无节点属性的基准测试中，SIG-VAE 相对于 SIVI-VGAE 和 NF-VGAE 的表现如何？

主要发现

方法	Cora AUC	Cora AP	Citeseer AUC	Citeseer AP	Pubmed AUC	Pubmed AP
SC	84.6±0.01	88.5±0.00	80.5±0.01	85.0±0.01	84.2±0.02	87.8±0.01
DW	83.1±0.01	85.0±0.00	80.5±0.02	83.6±0.01	84.4±0.00	84.1±0.00
GAE	91.0±0.02	92.0±0.03	89.5±0.04	89.9±0.05	96.4±0.00	96.5±0.00
VGAE	91.4±0.01	92.6±0.01	90.8±0.02	92.0±0.02	94.4±0.02	94.7±0.02
S-VGAE [11]	94.10±0.1	94.10±0.3	94.70±0.2	95.20±0.2	96.00±0.1	96.00±0.1
SEAL	90.09±0.1	83.01±0.3	83.56±0.2	77.58±0.2	96.71±0.1	90.10±0.1
G2G	92.10±0.9	92.58±0.8	95.32±0.7	95.57±0.7	94.28±0.3	93.38±0.5
NF-VGAE	92.42±0.6	93.08±0.5	91.76±0.3	93.04±0.8	96.59±0.3	96.68±0.4
Naive SIG-VAE	93.97±0.5	93.29±0.4	94.25±0.8	93.60±0.9	96.53±0.7	96.01±0.5
SIG-VAE (IP)	94.37±0.1	94.41±0.1	95.90±0.1	95.46±0.1	96.73±0.1	96.67±0.1
SIG-VAE	96.04±0.04	95.82±0.06	96.43±0.02	96.32±0.02	97.01±0.07	97.15±0.04

• SIG-VAE 相较于 VGAE，提供更具可解释性和灵活性的潜在表示，捕捉多模态和偏斜的后验。
• 在节点属性数据集（Cora、Citeseer、Pubmed）上，SIG-VAE 采用内积解码（IP）和完整的 SIG-VAE 在各指标上达到最高 AUC/AP，优于 VGAE、SEAL 和 NF-VGAE 等基线。
• SIG-VAE 在链接预测上的准确性持续提升，在使用 Bernoulli-Poisson 解码器的更稀疏图上获得更大增益。
• 该模型在真实世界和合成图上均表现出强劲的性能，并提供稳定的不确定性估计（标准差较小）。
• SIG-VAE 能生成统计特性与现实世界网络相近的图，展示其生成能力。