[论文解读] Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

Keyulu Xu, Mozhi Zhang+2 more|arXiv (Cornell University)|May 10, 2021

Advanced Graph Neural Networks被引用 16

一句话总结

本文首次对图神经网络（GNNs）中的梯度动力学进行了理论分析，表明在温和假设下，带有跳跃连接和更深结构的线性化GNN能以线性速率全局收敛至最小值。实验结果证实，跳跃连接和更深的架构可隐式加速训练，为深层多尺度GNN的实际成功提供了理论依据。

ABSTRACT

Graph Neural Networks (GNNs) have been studied through the lens of expressive power and generalization. However, their optimization properties are less well understood. We take the first step towards analyzing GNN training by studying the gradient dynamics of GNNs. First, we analyze linearized GNNs and prove that despite the non-convexity of training, convergence to a global minimum at a linear rate is guaranteed under mild assumptions that we validate on real-world graphs. Second, we study what may affect the GNNs' training speed. Our results show that the training of GNNs is implicitly accelerated by skip connections, more depth, and/or a good label distribution. Empirical results confirm that our theoretical results for linearized GNNs align with the training behavior of nonlinear GNNs. Our results provide the first theoretical support for the success of GNNs with skip connections in terms of optimization, and suggest that deep GNNs with skip connections would be promising in practice.

研究动机与目标

• 理解图神经网络（GNNs）的优化动力学，尽管其表达能力和泛化能力已显著提升，但其优化动力学仍不甚明了。
• 探究在非凸的GNN训练中，梯度下降是否能收敛至全局最小值，尤其是在深层架构中。
• 分析跳跃连接、深度以及标签分布对加速GNN训练的作用。
• 为带有跳跃连接的深层GNN在实践中取得的成功提供理论依据。
• 通过将优化动力学与架构选择相联系，弥合理论分析与实际GNN设计之间的差距。

提出的方法

• 使用带有线性激活的简化模型，分析线性化GNN中的梯度动力学，以捕捉关键的非凸动力学特征。
• 在温和假设下，证明线性化GNN能以线性速率全局收敛至最小值，并在真实世界图上进行了验证。
• 引入随时间变化的条件参数λₜ，以量化收敛速度并分析架构组件的影响。
• 通过理论与实验分析，研究跳跃连接、深度以及标签信噪比对训练速度的影响。
• 通过在基准数据集上比较ReLU GNN与线性GNN的训练曲线，将理论发现扩展至非线性GNN。
• 使用PyTorch和PyTorch Geometric进行训练与特征值计算，实验覆盖Cora和Citeseer数据集。

实验结果

研究问题

• RQ1 尽管存在非凸性，梯度下降在训练图神经网络时能否收敛至全局最小值？
• RQ2 跳跃连接如何影响GNN的优化动力学与收敛速度？
• RQ3 增加网络深度是否会导致GNN训练更快？如果是，原因是什么？
• RQ4 标签分布（信号与噪声）如何影响GNN的训练速度？
• RQ5 线性化GNN的理论结果在多大程度上可推广至实际中的非线性GNN？

主要发现

• 在温和假设下，带有平方损失的线性化GNN在Cora和Citeseer等真实世界图上能以线性速率全局收敛至最小值。
• 跳跃连接通过隐式改善优化动力学显著加速训练，即使在更深的架构中亦是如此。
• 增加深度可进一步加速收敛，表明带有跳跃连接的深层GNN在优化方面更具优势。
• 具有更高信号成分（与特征相关）的标签分布可导致更快的训练速度，而随机标签会减缓收敛。
• ReLU GNN的实验训练曲线与线性化GNN的曲线高度吻合，验证了理论分析在非线性模型上的适用性。
• 在成功训练设置中，随时间变化的条件λₜ随时间减小，证实了理论预测的收敛速率。