[论文解读] N-GCN: Multi-scale Graph Convolution for Semi-supervised Node Classification

Sami Abu-El-Haija, Amol Kapoor+2 more|arXiv (Cornell University)|Feb 24, 2018

Advanced Graph Neural Networks参考文献 19被引用 78

一句话总结

N-GCN 在标准化邻接矩阵的不同幂上训练多个 GCN 实例，以捕捉多尺度图信息，并学习一个联合分类器，将它们的输出结合起来，以提升半监督节点分类。它在若干基准数据集上达到最先进的结果，并扩展到 N-SAGE 变体。

ABSTRACT

Graph Convolutional Networks (GCNs) have shown significant improvements in semi-supervised learning on graph-structured data. Concurrently, unsupervised learning of graph embeddings has benefited from the information contained in random walks. In this paper, we propose a model: Network of GCNs (N-GCN), which marries these two lines of work. At its core, N-GCN trains multiple instances of GCNs over node pairs discovered at different distances in random walks, and learns a combination of the instance outputs which optimizes the classification objective. Our experiments show that our proposed N-GCN model improves state-of-the-art baselines on all of the challenging node classification tasks we consider: Cora, Citeseer, Pubmed, and PPI. In addition, our proposed method has other desirable properties, including generalization to recently proposed semi-supervised learning methods such as GraphSAGE, allowing us to propose N-SAGE, and resilience to adversarial input perturbations.

研究动机与目标

• 将 GCN 与基于随机游走的多尺度图信息结合用于半监督节点分类的动机。
• 开发一个处理归一化邻接矩阵的多次幂的 GCN 网络（N-GCN）。
• 对所有 GCN 模块和分类器进行联合训练，以选择有用的多尺度表示。
• 在标准数据集上展示最先进的性能，并分析对扰动的鲁棒性。

提出的方法

• 创建 K 个 GCN 的实例，每个输入不同幂次的归一化邻接矩阵 Â A（包括 Â A^0 = I）。
• 将 K 个 GCN 的输出拼接并输入到全连接分类器（N-GCN_fc）。
• 或者，学习一个对 GCN 输出的软注意力组合（N-GCN_a），以自适应地对尺度进行加权。
• 端到端训练，在带标签的节点上使用交叉熵损失；可选地对中间层施加监督，鼓励每个 GCN 都有用。
• 通过 Network-of-Graph-Models 框架将其推广到其他图模型（如 GraphSAGE）。
• 在标准图基准数据集上评估（Cora、Citeseer、PubMed、PPI），并与基线（GCN、SAGE、DCNN 等）进行比较。

实验结果

研究问题

• RQ1 显式地利用来自不同随机游走步长的多尺度信息，是否能在半监督节点分类上超越普通 GCN？
• RQ2 在邻接矩阵的幂上工作的 GCN 网络是否能够学习有效地结合远距离和局部信息？
• RQ3 提出的 N-GCN 对输入扰动和特征噪声是否鲁棒？
• RQ4 在基准数据集上，N-GCN 与相关方法（如 DCNN、GraphSAGE）相比如何？
• RQ5 该方法能否推广到 GCN 之外的其他图模型（如 SAGE）？

主要发现

方法	Citeseer	Cora	PubMed	PPI
DCNN (our implementation)	71.1	81.3	79.3	44.0
GCN (our implementation)	71.2	81.0	78.8	46.2
SAGE (our implementation)	63.5	77.4	77.6	59.8
N-GCN (our)	72.2	83.0	79.5	46.8
N-SAGE (our)	71.0	81.8	79.4	65.0

• N-GCN 在 Cora、Citeseer、PubMed 和 PPI 数据集上相对于强基线取得了最先进的准确率。
• 使用多尺度 GCN（K>1）比单尺度 GCN 提升性能，且随着 K 增大提升更大。
• 基于注意力的和全连接分类变体（N-GCN_a、N-GCN_fc）均优于基线，展示了多尺度融合的有效性。
• 在特征扰动下，N-GCN 和相关多尺度模型优于普通 GCN 与 SAGE，显示对丢失特征的鲁棒性。
• 更深的单路径 GCN/SAGE 并不始终提升准确率，而 N-GCN 从多尺度、浅层组件中受益。