[论文解读] Simple and Deep Graph Convolutional Networks

Ming Chen, Zhewei Wei+3 more|arXiv (Cornell University)|Jul 4, 2020

Advanced Graph Neural Networks被引用 399

一句话总结

GCNII 在 vanilla GCN 上加入初始残差和自同一映射，以实现真正深的图神经网络并缓解过平滑，在半监督和全监督任务上达到最新结果。

ABSTRACT

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the {\em over-smoothing} problem. In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: {\em Initial residual} and {\em Identity mapping}. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi- and full-supervised tasks. Code is available at https://github.com/chennnM/GCNII .

研究动机与目标

• 在浅层模型易受过平滑影响的情况下，推动设计深层 GCN。
• 提出两种简单的技巧——初始残差和恒等映射——以实现深层 GCN。
• 对多层 GCN 的理论分析以及 GCNII 的表达能力和收敛性质。
• 证明 GCNII 相对于最先进方法在多个数据集和深度上的经验提升。

提出的方法

• 通过从输入层向每一层添加初始残差连接来引入 GCNII。
• 在层权重矩阵中加入一个恒等映射项以改善可训练性和表达能力。
• 在固定的重正则化传播矩阵 tilde{P} 下进行训练，并通过参数学习逐层系数；在每层引入两个超参数  和
  。
• 在理论上分析多层 GCN 的平稳状态和收敛，表明在标准 GCN 下高阶节点更快收敛，并证明 GCNII 能表达具有任意系数的 K 阶多项式滤波器（定理 2）。
• 将模型与迭代收缩阈值法和 ResNet 风格结构联系起来，以证明初始化和跳过连接的合理性。

实验结果

研究问题

• RQ1 如何通过简单的结构改动使 GCN 真正变深而不再过平滑？
• RQ2 初始残差连接和恒等映射是否使 GCN 能表达更丰富的多项式滤波器，并在深度增加时保留输入特征的信息？
• RQ3 对深层 GCN 变体的平稳性、收敛性及对节点度的依赖有哪些理论含义？
• RQ4 与最先进模型相比，GCNII 在半监督和全监督节点分类数据集及不同深度上的表现如何？

主要发现

• GCNII 在 Cora、Citeseer 和 Pubmed 的半监督节点分类中达到最好的结果（示例：GCNII 85.5±0.5（Cora），73.4±0.6（Citeseer），80.2±0.4（Pubmed））。
• GCNII*（一个变体）在参数化略有不同的情况下达到可比的性能。
• GCNII 能实现深网络（最长 64 层）并在深层基线和其他深度模型上持续改进；例如 64 层 GCNII 在 Cora 达到 85.5，Pubmed达到 80.2。
• 理论结果表明 K 层 GCN 往往收敛到一个平稳向量；GCNII 能表达具有任意系数的 K 阶多项式滤波器，解决了 vanilla GCN 的表达能力限制（定理 2）。
• vanilla GCN 的平稳收敛速度受节点度影响较大，高度数的节点更易发生过平滑（猜想 1 和定理 1 的讨论）。
• 实验结果表明，在数据集和深度上，深度 GCNII 始终优于基线，并且在深度场景中可超越 DropEdge 和 JKNet 变体。