[论文解读] On Provable Benefits of Depth in Training Graph Convolutional Networks

Weilin Cong, Morteza Ramezani+1 more|arXiv (Cornell University)|Oct 28, 2021

Advanced Graph Neural Networks参考文献 56被引用 17

一句话总结

本文挑战了人们普遍认为深度会因过平滑而损害图卷积网络（GCNs）性能的观念，证明更深的GCNs在适当训练下可实现高训练准确率且具有可证明的表达能力。本文提出一种解耦的GCN架构，将特征传播与权重学习分离，以保持表达能力并提升泛化性能，并在合成数据集和真实世界数据集上通过实证方法加以验证。

ABSTRACT

Graph Convolutional Networks (GCNs) are known to suffer from performance degradation as the number of layers increases, which is usually attributed to over-smoothing. Despite the apparent consensus, we observe that there exists a discrepancy between the theoretical understanding of over-smoothing and the practical capabilities of GCNs. Specifically, we argue that over-smoothing does not necessarily happen in practice, a deeper model is provably expressive, can converge to global optimum with linear convergence rate, and achieve very high training accuracy as long as properly trained. Despite being capable of achieving high training accuracy, empirical results show that the deeper models generalize poorly on the testing stage and existing theoretical understanding of such behavior remains elusive. To achieve better understanding, we carefully analyze the generalization capability of GCNs, and show that the training strategies to achieve high training accuracy significantly deteriorate the generalization capability of GCNs. Motivated by these findings, we propose a decoupled structure for GCNs that detaches weight matrices from feature propagation to preserve the expressive power and ensure good generalization performance. We conduct empirical evaluations on various synthetic and real-world datasets to validate the correctness of our theory.

研究动机与目标

• 探究增加GCNs深度是否真的因其过平滑而损害其表达能力，这是否是基于理论简化的误解。
• 理解为何更深的GCNs在正确训练下虽能达到高训练准确率，但泛化性能却较差。
• 开发一种理论基础坚实的解耦GCN架构，以保持表达能力并提升泛化性能。
• 为半监督节点分类任务下的GCNs提供一种新颖的泛化分析，识别由训练策略引起的性能退化。
• 通过在合成和真实世界图数据集上的广泛实证评估，验证理论主张。

提出的方法

• 使用Weisfeiler-Lehman（WL）图同构性测试来形式化刻画GCNs的表征能力，表明更深的模型至少与浅层模型一样具有表达能力。
• 证明在适当训练下，更深的GCNs可实现全局最优解，并以线性收敛速率收敛，表明过平滑并非性能退化的根本原因。
• 提出一种解耦的GCN结构，将可学习权重矩阵与图传播机制分离，以解耦表达能力与优化动态。
• 在半监督节点分类框架下采用泛化分析方法，将深层GCNs中泛化性能差的原因归因于特定训练策略对泛化能力的损害。
• 推导出扰动模型与原始模型之间梯度差异的理论边界，表明泛化误差受模型深度和参数敏感性控制。
• 通过在Cora、PubMed、Reddit和合成数据集上的实证评估验证理论，将标准GCNs与所提出的解耦变体进行比较。

实验结果

研究问题

• RQ1 增加GCNs的深度是否真的因其过平滑而损害其表达能力，还是这一观点是基于理论简化的误解？
• RQ2 为何更深的GCNs在能够学习复杂表征的前提下，仍能实现高训练准确率但泛化性能差？
• RQ3 对GCNs进行结构修改是否可实现表达能力与优化动态的解耦，从而在不牺牲训练准确率的前提下提升泛化性能？
• RQ4 如dropout和权重衰减等训练策略如何影响深层GCNs的泛化能力，是否可进行形式化分析？
• RQ5 所提出的解耦GCN架构在泛化性能方面相较于标准GCNs有多大提升，同时又能保持高训练准确率？

主要发现

• 在Weisfeiler-Lehman框架下，更深的GCNs被证明比浅层模型更具表达能力，因为它们能区分浅层GCNs无法区分的具有不同邻域结构的节点。
• 通过足够多的训练迭代，更深的GCNs可实现高训练准确率，表明过平滑并非性能退化的根本原因。
• 深层GCNs的泛化性能显著下降，主要归因于dropout和权重衰减等训练策略引入的正则化，这些正则化会损害泛化能力。
• 所提出的解耦GCN架构通过将特征传播与权重学习分离，在多个基准数据集上实现了更好的泛化性能，同时保持了高训练准确率。
• 在Cora、PubMed、Reddit和合成图上的实证结果表明，解耦架构在泛化性能上显著优于标准GCNs，尤其在深层设置下表现更优。
• 理论分析表明，深层GCNs中的梯度差异是受控的，且依赖于模型深度和参数敏感性，支持了泛化问题源于训练动态而非表达能力限制的观点。