[论文解读] Towards Deepening Graph Neural Networks: A GNTK-based Optimization Perspective

Wei Huang, Yayong Li+5 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Graph Neural Networks参考文献 43被引用 7

一句话总结

本文提出了一种基于GNTK的优化视角，以解释深度图神经网络（GNNs）中的可训练性崩溃现象，揭示了超宽图卷积网络（GCNs）在深度增加时面临指数级可训练性衰减。本文提出了一种图自适应采样方法——Critical DropEdge，通过保持GNTK的多样性来缓解这种衰减，在多个基准数据集上显著提升了深度GNN的训练性能。

ABSTRACT

Graph convolutional networks (GCNs) and their variants have achieved great success in dealing with graph-structured data. Nevertheless, it is well known that deep GCNs suffer from the over-smoothing problem, where node representations tend to be indistinguishable as more layers are stacked up. The theoretical research to date on deep GCNs has focused primarily on expressive power rather than trainability, an optimization perspective. Compared to expressivity, trainability attempts to address a more fundamental question: Given a sufficiently expressive space of models, can we successfully find a good solution via gradient descent-based optimizers? This work fills this gap by exploiting the Graph Neural Tangent Kernel (GNTK), which governs the optimization trajectory under gradient descent for wide GCNs. We formulate the asymptotic behaviors of GNTK in the large depth, which enables us to reveal the dropping trainability of wide and deep GCNs at an exponential rate in the optimization process. Additionally, we extend our theoretical framework to analyze residual connection-based techniques, which are found to be merely able to mitigate the exponential decay of trainability mildly. Inspired by our theoretical insights on trainability, we propose Critical DropEdge, a connectivity-aware and graph-adaptive sampling method, to alleviate the exponential decay problem more fundamentally. Experimental evaluation consistently confirms using our proposed method can achieve better results compared to relevant counterparts with both infinite-width and finite-width.

研究动机与目标

• 为解决尽管理论上具有表达能力，深度GCNs为何仍无法训练的根本性理解鸿沟。
• 利用图神经正切核（GNTK）在大深度极限下分析超宽GCNs的优化动态。
• 探究残差连接是否能有效缓解深度GNN中可训练性崩溃的问题。
• 设计一种新型采样方法——Critical DropEdge，通过保持GNTK多样性从根本上缓解指数级可训练性衰减。

提出的方法

• 对超宽GCNs中GNTK矩阵的大深度渐近行为进行理论分析，表明所有元素均指数收敛至同一值。
• 推导深度GCNs中GNTK的奇异极限，表明在梯度下降下存在指数级可训练性崩溃。
• 将理论分析扩展至基于残差连接的GCNs，表明仅能轻微缓解可训练性衰减。
• 设计Critical DropEdge，一种连通性感知、图自适应的边采样策略，通过保持GNTK多样性来防止其收敛至单一值。
• 通过Cora、Citeseer、PubMed和Physics数据集上的GNTK收敛曲线和训练损失轨迹进行实证验证。
• 在16层和32层模型上比较标准GCN、DropEdge与C-DropEdge的训练动态，评估收敛速度与最终损失。

实验结果

研究问题

• RQ1 在大深度极限下，超宽GCNs的图神经正切核（GNTK）是否表现出指数收敛至奇异矩阵的特性？
• RQ2 残差连接在多大程度上能缓解GNTK的指数衰减，从而改善深度GCNs的可训练性？
• RQ3 像Critical DropEdge这样的图自适应边采样方法，是否能从根本上逆转深度GCNs中观察到的指数级可训练性崩溃？
• RQ4 在收敛速度与最终性能方面，基于GNTK的优化行为在标准GCN、DropEdge与C-DropEdge之间有何差异？

主要发现

• 超宽GCNs的GNTK矩阵在大深度极限下指数收敛至奇异矩阵，导致指数级可训练性崩溃。
• 残差连接仅能轻微减缓GNTK的指数衰减，无法防止深度GCNs中的可训练性崩溃。
• Critical DropEdge能有效保持GNTK多样性，防止其指数收敛，从而实现深度GCNs的稳定训练。
• 在Cora数据集上，16层GCN使用C-DropEdge达到58.5±3.9%的准确率，优于标准GCN（36.3±13.8%）和DropEdge（55.1±5.2%）。
• 在Citeseer数据集上，32层GCN使用C-DropEdge达到24.7±1.8%的准确率，显著优于标准GCN（20.1±2.4%）和DropEdge（22.1±2.0%）。
• 在Physics数据集上，32层GCN使用C-DropEdge达到36.2±8.4%的准确率，优于标准GCN（28.8±9.4%）和DropEdge（31.1±8.8%），且C-DropEdge避免了深层模型中常见的内存溢出（OOM）问题。