[论文解读] Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 83被引用 5

一句话总结

该论文提出了一种基于梯度提升的归纳图神经网络（GNN）的理论框架，证明了在弱学习条件下模型的收敛性和泛化界。研究表明，通过提升训练的多尺度GNN在深度增加时测试误差单调下降，为模型在深层设置下对过平滑的鲁棒性提供了理论解释。

ABSTRACT

It is known that the current graph neural networks (GNNs) are difficult to make themselves deep due to the problem known as over-smoothing. Multi-scale GNNs are a promising approach for mitigating the over-smoothing problem. However, there is little explanation of why it works empirically from the viewpoint of learning theory. In this study, we derive the optimization and generalization guarantees of transductive learning algorithms that include multi-scale GNNs. Using the boosting theory, we prove the convergence of the training error under weak learning-type conditions. By combining it with generalization gap bounds in terms of transductive Rademacher complexity, we show that a test error bound of a specific type of multi-scale GNNs that decreases corresponding to the number of node aggregations under some conditions. Our results offer theoretical explanations for the effectiveness of the multi-scale structure against the over-smoothing problem. We apply boosting algorithms to the training of multi-scale GNNs for real-world node prediction tasks. We confirm that its performance is comparable to existing GNNs, and the practical behaviors are consistent with theoretical observations. Code is available at https://github.com/delta2323/GB-GNN.

研究动机与目标

• 为多尺度GNN在缓解过平滑方面取得的实证成功提供理论理解。
• 为归纳学习模型（特别是GNN）提供优化和泛化保证，而这类保证在现有理论中常被忽视。
• 通过利用提升理论，弥合归纳学习理论与归纳设定之间的差距，适用于图结构数据。
• 通过在真实世界引用网络上使用基于GB-GNN的提升方法进行实证评估，验证理论发现。

提出的方法

• 利用提升理论将归纳GNN形式化为弱学习器的集成，将模型分解为聚合函数𝒢和变换函数𝒷。
• 在弱学习条件（w.l.c.）下证明了训练误差的收敛性，将提升理论扩展至具有节点预测相互依赖性的归纳设定。
• 利用归纳Rademacher复杂度推导出泛化差距界，表明在特定类别的多尺度GNN中，当满足w.l.c.时，测试误差随深度增加而减少。
• 提出GB-GNN，一种将梯度提升应用于多尺度GNN的训练方法，通过弱学习器迭代优化节点表示。
• 采用多种聚合机制（Adj, KTA, II, SAMME.R），以探索GNN架构中不同的归纳偏置。
• 应用微调进一步提升性能，尤其在标准GNN因GPU显存限制而失效的深层架构中表现显著。

实验结果

研究问题

• RQ1 能否将提升理论扩展至为具有相互依赖节点预测的归纳GNN提供优化保证？
• RQ2 通过梯度提升训练的多尺度GNN架构是否表现出改进的泛化能力，特别是在深度增加时？
• RQ3 在何种条件下，多尺度GNN的测试误差会随着聚合层数量的增加而单调递减？
• RQ4 关于泛化和优化的理论预测与真实世界图基准上的实证性能是否一致？
• RQ5 GB-GNN能否在保持理论一致性的同时，实现与最先进GNN相当的性能？

主要发现

• 理论分析表明，在弱学习条件下训练的多尺度GNN可收敛至全局最优，为归纳GNN提供了优化保证。
• 特定类别的多尺度GNN在弱学习条件下实现了随深度单调递减的测试误差界，有效缓解了过平滑问题。
• GB-GNN模型在引用网络上实现了最先进性能，其中GB-GNN-SAMME.R + 微调在Cora数据集上达到82.1%的准确率，优于标准GNN。
• 实证结果证实，训练动态和性能趋势与理论预测一致，尤其体现在误差随深度下降的特性上。
• 微调显著提升了深层模型的性能，使得在标准GNN因GPU显存限制而失败的场景中仍能成功训练。
• 弱学习器与梯度之间的相似性（cosθ）在所有迭代中保持高度一致，表明GB-GNN具有稳定且高效的训练动态。