[论文解读] Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network

Jiyang Bai, Yuxiang Ren+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 39被引用 12

一句话总结

本文提出Ripple Walk Training（RWT），一种基于子图的框架，可加速大规模和深层图神经网络（GNN）的训练并减少内存使用。通过使用新型的Ripple Walk采样器——该采样器旨在平衡随机性与连通性——RWT缓解了邻居爆炸、节点依赖性和过度平滑问题，从而在多种数据集上实现了GCN和GAT模型的更快收敛和性能提升。

ABSTRACT

Graph neural networks (GNNs) have achieved outstanding performance in learning graph-structured data and various tasks. However, many current GNNs suffer from three common problems when facing large-size graphs or using a deeper structure: neighbors explosion, node dependence, and oversmoothing. Such problems attribute to the data structures of the graph itself or the designing of the multi-layers GNNs framework, and can lead to low training efficiency and high space complexity. To deal with these problems, in this paper, we propose a general subgraph-based training framework, namely Ripple Walk Training (RWT), for deep and large graph neural networks. RWT samples subgraphs from the full graph to constitute a mini-batch, and the full GNN is updated based on the mini-batch gradient. We analyze the high-quality subgraphs to train GNNs in a theoretical way. A novel sampling method Ripple Walk Sampler works for sampling these high-quality subgraphs to constitute the mini-batch, which considers both the randomness and connectivity of the graph-structured data. Extensive experiments on different sizes of graphs demonstrate the effectiveness and efficiency of RWT in training various GNNs (GCN & GAT).

研究动机与目标

• 解决大规模和深层GNN中的邻居爆炸、节点依赖性和过度平滑问题。
• 克服全图小批量训练中的内存与计算瓶颈。
• 开发一种可扩展的、通用的训练框架，以支持更深的GNN架构。
• 设计一种子图采样方法，以保持结构质量，实现有效的模型更新。

提出的方法

• RWT用从全图采样的基于子图的小批量训练替代全图小批量训练。
• Ripple Walk采样器采用受控扩展的随机游走，以在子图中平衡随机性与连通性。
• 子图采样方式确保每个节点的表征仅依赖于其在子图内的局部邻域，从而消除子图之间的节点依赖性。
• 该框架通过仅在子图小批量上计算的梯度，实现全GNN模型的完整更新。
• 采样过程具有理论基础，以确保子图保留结构和表征质量。
• 子图大小和小批量大小（M）经过调优，以平衡信息覆盖度与冗余度。

实验结果

研究问题

• RQ1 基于子图的训练框架能否有效降低大规模GNN中的内存与计算开销？
• RQ2 如何通过子图采样在随机性与连通性之间取得平衡，以维持模型性能？
• RQ3 RWT在小批量训练中在多大程度上缓解了邻居爆炸与节点依赖问题？
• RQ4 RWT能否在提升训练效率与泛化能力的同时减少深层GNN中的过度平滑？
• RQ5 如扩展比（r）和小批量大小（M）等超参数如何影响RWT的性能？

主要发现

• RWT显著降低了训练时间和内存使用，在CPU和GPU上均大幅缩短了收敛时间。
• 在Reddit数据集上，RWT结合GAT在2614秒内达到68.06%的准确率，而基线模型因内存不足而崩溃。
• 在全部五个数据集上，Ripple Walk采样器的表现优于随机采样和BFS采样，证明了其更优的子图质量。
• 当扩展比r = 0.5时，性能最佳，验证了理论中随机性与连通性之间的平衡。
• 随着小批量大小M的增加，模型性能提升并趋于稳定，但进一步增加则因子图冗余导致收益递减。
• 与标准GCN相比，RWT在深层架构中保持了更高的准确率和更低的损失，表明其有效缓解了过度平滑问题。