[论文解读] Variational Spectral Graph Convolutional Networks.

Louis C. Tiao, Pantelis Elinas+2 more|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning参考文献 1被引用 9

一句话总结

该论文提出了一种变分谱图卷积网络，能够从数据中联合推断图结构并学习GCN参数，而无需输入图。通过使用Concrete松弛实现可微的潜在图采样，该方法在无图设置和对抗性设置下的半监督分类任务中达到了最先进性能。

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

研究动机与目标

• 使图卷积网络在缺乏输入图结构的情况下仍能有效运行。
• 提升GCN对图结构上对抗性扰动的鲁棒性。
• 开发一种联合概率模型，通过变分推断同时推断图结构与GCN参数。
• 通过连续松弛实现通过离散潜在图变量的端到端梯度传播，支持端到端训练。

提出的方法

• 构建一个联合概率模型，结合图的先验分布与基于GCN的节点分类似然函数。
• 采用随机变分推断近似潜在图的后验分布，并优化GCN参数。
• 使用Concrete分布作为连续松弛，实现通过离散潜在图样本的反向传播。
• 在GCN中应用谱卷积操作，利用基于图拉普拉斯的特征传播机制。
• 通过Concrete松弛的重参数化梯度优化变分下界（ELBO）。
• 实现图结构发现与GCN参数学习的联合端到端可微训练。

实验结果

研究问题

• RQ1 当未提供输入图时，GCN是否能仅依赖数据和图的先验分布实现有效训练？
• RQ2 在可微框架中，如何对离散潜在图变量应用基于梯度的优化？
• RQ3 与现有方法相比，所提出方法在对抗性图结构扰动下的鲁棒性提升程度如何？
• RQ4 联合学习图结构与GCN参数是否能提升半监督节点分类中的泛化性能？

主要发现

• 所提方法在无输入图的半监督节点分类任务中，优于最先进的贝叶斯与非贝叶斯图神经网络。
• 在图结构遭受对抗性攻击时，该方法表现出更优的鲁棒性，即使在扰动下仍能保持高准确率。
• Concrete松弛的使用实现了对离散潜在图变量的有效反向传播，支持端到端训练。
• 图结构与GCN参数的联合推断显著提升了真实世界数据集上的性能，即使真实图未知或受损。