[论文解读] Optimization of Graph Neural Networks with Natural Gradient Descent

Mohammad Izadi, Yihao Fang+2 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Graph Neural Networks参考文献 24被引用 10

一句话总结

本文提出了一种新颖的图神经网络（GNN）优化框架，采用自然梯度下降（NGD）结合克罗内克积分解近似曲率（KFAC），以提升半监督节点分类任务中的训练效率与性能。通过将未标记样本纳入费舍尔信息矩阵的估计，该方法在引文网络上相比Adam和SGD实现了更快的收敛速度和更高的测试准确率。

ABSTRACT

In this work, we propose to employ information-geometric tools to optimize a graph neural network architecture such as the graph convolutional networks. More specifically, we develop optimization algorithms for the graph-based semi-supervised learning by employing the natural gradient information in the optimization process. This allows us to efficiently exploit the geometry of the underlying statistical model or parameter space for optimization and inference. To the best of our knowledge, this is the first work that has utilized the natural gradient for the optimization of graph neural networks that can be extended to other semi-supervised problems. Efficient computations algorithms are developed and extensive numerical studies are conducted to demonstrate the superior performance of our algorithms over existing algorithms such as ADAM and SGD.

研究动机与目标

• 解决标准SGD和Adam在训练GNN进行半监督学习时收敛缓慢及超参数敏感的问题。
• 通过应用自然梯度下降，利用信息几何原理，挖掘GNN参数空间中的内在几何结构。
• 开发一种高效且可扩展的费舍尔信息矩阵近似方法，采用KFAC并引入未标记数据，以提升优化性能。
• 通过实验评估所提方法在性能、对超参数的鲁棒性以及训练效率方面相较于Adam和SGD等基线优化器的表现。
• 为GNN中的预条件优化奠定基础，未来可拓展至更深的网络架构及更快速的曲率近似方法。

提出的方法

• 将节点分类建模为基于最小二乘回归和交叉熵损失的概率模型，其中预测结果依赖于图结构数据。
• 采用自然梯度下降（NGD）优化GNN参数，通过费舍尔信息矩阵的逆矩阵对梯度进行预条件处理，以考虑参数空间的几何特性。
• 使用克罗内克积分解近似曲率（KFAC）对费舍尔信息矩阵进行近似，从而实现在大规模GNN中的高效计算与求逆。
• 每50个周期更新一次KFAC近似，以在计算成本与优化稳定性之间取得平衡，并利用未标记样本估计费舍尔矩阵。
• 将该框架与Adam和SGD优化器结合，形成混合方法：Adam-KFAC与SGD-KFAC，以评估不同优化策略下的性能表现。
• 采用概率框架定义邻接矩阵分布，并建模条件目标分布，从而在图结构上实现有原则的半监督学习。

实验结果

研究问题

• RQ1 使用KFAC预条件的自然梯度下降能否在图神经网络的半监督节点分类任务中提升收敛速度与测试准确率？
• RQ2 在费舍尔信息矩阵估计中引入未标记样本，如何影响优化性能与泛化能力？
• RQ3 所提方法对学习率、正则化系数以及费舍尔矩阵更新频率等超参数的敏感性如何？
• RQ4 与基于Adam的优化器相比，SGD结合KFAC预条件是否在收敛速度与最终模型准确率上表现更优？
• RQ5 自然梯度方法能否与现有自适应优化器（如Adam）在GNN训练中有效结合？

主要发现

• 所提SGD-KFAC方法在所有测试优化器中收敛速度最快，在所有引文数据集上均优于原始SGD和Adam。
• 在所有三个数据集划分中，SGD-KFAC的测试准确率均高于Adam和Adam-KFAC，表明其泛化能力更优。
• Adam-KFAC在不同数据集上表现一致，而SGD-KFAC表现出与数据集相关的过拟合行为，表明其对数据分布更敏感。
• 每50个周期更新一次费舍尔矩阵在计算成本与性能之间取得了良好平衡，验证损失未因更新频率降低而显著下降。
• 该方法对学习率和正则化超参数表现出强鲁棒性，较小的ε可加速收敛，而较大的γ可提升收敛稳定性。
• 时间复杂度分析表明，与标准SGD相比，所提方法显著降低了每轮训练的时间开销，尤其在高维特征输入下优势明显。