[论文解读] Semi-Supervised Classification with Graph Convolutional Networks

Thomas Kipf, Max Welling|arXiv (Cornell University)|Sep 9, 2016

Advanced Graph Neural Networks参考文献 22被引用 8,058

一句话总结

引入一个可扩展的图卷积网络（GCN），用于半监督节点分类，直接在图上操作，使用重归一化特征传播层，并在引用网络和知识图谱数据集上取得了强劲的结果。

ABSTRACT

We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.

研究动机与目标

• 激励图结构的半监督学习，标签稀缺。
• 提出一个简单、可扩展的基于图的神经网络层，直接使用图结构和节点特征。
• 在多个数据集上展示相对于最新基线的更高准确性和效率。

提出的方法

• 定义一个分层传播规则 H^{(l+1)} = σ(Â H^{(l)} W^{(l)})，采用重归一化技巧 Â = âA，包含自环和基于度的归一化。
• 证明对谱图卷积的一阶近似可得到一个实用、高效的GCN（Eq. 7）。
• 使用两层 GCN 与 softmax 进行半监督节点分类，仅对有标签的节点进行，优化交叉熵损失（Eq. 10）。
• 计算 Â̂ = D̃^{−1/2} Ẫ D̃^{−1/2} 以使训练保持稳定并可扩展到大图。
• 提供一个基于 GPU 加速的 TensorFlow 实现，边数复杂度为线性（O(|E|F C)）。
• 使用固定数据集进行评估，并与 LP、ManiReg、SemiEmb、DeepWalk、ICA 和 Planetoid 基线进行比较。

实验结果

研究问题

• RQ1 简单的、重归一化的图卷积层是否可以在图上有效传递信息以进行半监督节点分类？
• RQ2 将邻接结构直接纳入神经网络是否能在准确性和效率上胜过图拉普拉斯正则化和基于嵌入的方法？
• RQ3 传播设计（重归一化技巧）对不同数据集的性能和可扩展性有何影响？
• RQ4 与引用网络相比，GCN 在大规模知识图数据（NELL）上的表现如何？

主要发现

• GCN 在 Citeseer (70.3%), Cora (81.5%), Pubmed (79.0%), 和 NELL (66.0%) 上比若干基线具有更高的准确性。
• 重归一化技巧在效率和预测性能方面优于高阶 Chebyshev 或一阶模型。
• 使用稀疏邻接的全批次训练在边数上实现线性时间复杂度，适用于大图。
• 探索了更深的变体（最多10层），两层模型在各数据集上表现出色。
• 在随机图上，该模型在 GPU 和 CPU 实现上展示了可扩展的训练时间。