[论文解读] Variational Inference for Graph Convolutional Networks in the Absence of Graph Data and Adversarial Settings

Pantelis Elinas, Edwin V. Bonilla+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 50被引用 24

一句话总结

该论文提出了一种用于图卷积网络（GCNs）的变分推理框架，该框架无需输入图数据，并在对抗性扰动下仍保持鲁棒性。通过将邻接矩阵建模为具有先验的隐变量，并使用Concrete松弛实现梯度传播，该方法联合推断图结构与GCN参数，在无图输入及遭受对抗性攻击的半监督分类任务中，性能优于当前最先进的贝叶斯与非贝叶斯GNN模型。

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

研究动机与目标

• 解决当缺乏可靠输入图或图遭受对抗性扰动时GCNs的局限性。
• 开发一种系统化的概率框架，以在不确定性下联合推断图结构与GCN参数。
• 提高GCNs对对抗性边操作（如添加或删除边）的鲁棒性。
• 实现在图未提供或不可靠场景下的GCN端到端训练。
• 证明模型仅从数据中即可学习到有意义且任务优化的图结构。

提出的方法

• 构建一个联合概率模型，对邻接矩阵施加先验，并基于GCN的似然函数进行节点分类。
• 应用随机变分推理以近似隐含图结构与GCN参数的后验分布。
• 使用Concrete分布作为离散邻接矩阵的连续松弛，以实现可微的后验估计。
• 对Concrete分布应用重参数化技巧，使梯度能够反向传播通过随机图采样。
• 引入变分下界（ELBO），以平衡图重构与分类性能。
• 通过图的分块对角近似支持全批量与小批量训练，提升可扩展性。

实验结果

研究问题

• RQ1 当未提供输入图时，基于GCN的模型能否从数据中学习到有效的图结构？
• RQ2 所提出的变分推理框架在对抗性边扰动（如边的添加或删除）下表现如何？
• RQ3 该模型推断图结构的能力是否能带来相比基线方法更高的半监督分类准确率？
• RQ4 该模型能否在训练过程中抑制虚假或对抗性边的影响？
• RQ5 Concrete松弛的使用如何实现对离散图结构的有效基于梯度的优化？

主要发现

• 所提出的VGNN（变分GCN）在无输入图时的半监督节点分类任务中，优于当前最先进的贝叶斯与非贝叶斯GNN模型。
• 在Cora与Citeseer数据集上，即使有50%的边被对抗性地添加，VGNN仍保持高准确率，优于GCN、GAT与RGCN。
• 在边删除攻击下，VGNN表现出较小的性能下降与更低的方差，尤其在随机数据划分下表现更优。
• 该模型成功抑制了添加边的影响，仅有少数虚假边的后验概率超过0.5，表明其具备鲁棒性。
• 采用分块对角近似的迷你批量训练可实现对PubMed等大规模数据集的训练，且在对抗性设置下仍保持优异性能。
• 在随机数据划分的实验中，VGNN的优越性保持一致，非固定训练/验证划分的产物。