[论文解读] Scalable Graph Neural Networks via Bidirectional Propagation

Ming Chen, Zhewei Wei+5 more|arXiv (Cornell University)|Oct 29, 2020

Advanced Graph Neural Networks参考文献 45被引用 46

一句话总结

GBP 引入一个可扩展的 GNN，具有本地化双向传播，预计算和训练的时间复杂度呈现亚线性，在单机上对十亿边图实现有效学习。

ABSTRACT

Graph Neural Networks (GNN) is an emerging field for learning on non-Euclidean data. Recently, there has been increased interest in designing GNN that scales to large graphs. Most existing methods use "graph sampling" or "layer-wise sampling" techniques to reduce training time. However, these methods still suffer from degrading performance and scalability problems when applying to graphs with billions of edges. This paper presents GBP, a scalable GNN that utilizes a localized bidirectional propagation process from both the feature vectors and the training/testing nodes. Theoretical analysis shows that GBP is the first method that achieves sub-linear time complexity for both the precomputation and the training phases. An extensive empirical study demonstrates that GBP achieves state-of-the-art performance with significantly less training/testing time. Most notably, GBP can deliver superior performance on a graph with over 60 million nodes and 1.8 billion edges in less than half an hour on a single machine. The codes of GBP can be found at https://github.com/chennnM/GBP .

研究动机与目标

• 激励可扩展的 GNNs，能够处理拥有数十亿条边的图。
• 开发一个传播框架，将特征传播与神经网络学习解耦。
• 在保持准确性的同时实现预计算和训练的亚线性时间复杂度。
• 提供从小规模到十亿规模图的实证证据，展示性能和效率的提升。

提出的方法

• 定义一个 Generalized PageRank 传播矩阵 P，使多跳扩散与特征传播相结合。
• 通过一种双向传播方法计算 P，该方法结合来自训练节点的 Monte-Carlo 和来自特征的确定性 Reverse Push。
• 将 P 用作固定传播矩阵，使在 P 之上对神经网络进行标准的小批量训练成为可能。
• 表明在适当设置下，P 的估计量在时间上是无偏且亚线性的。
• 证明 GBP 通过调整权重序列 w_ell 和扩散参数 r，可以模拟各种图卷积。
• 提出一个实用且可并行化的算法（Algorithm 1），高效实现双向传播。

实验结果

研究问题

• RQ1 本地化的双向传播框架是否能够在 GNNs 中实现预计算和训练的亚线性时间复杂度？
• RQ2 将特征传播与神经网络学习解耦对大规模图的半监督和监督任务有何影响？
• RQ3 在各种基准测试中，GBP 在降低计算时间的同时，能在多大程度上达到或超过最先进的可扩展 GNN？
• RQ4 GBP 是否有能力在单机上扩展到十亿边的图而不牺牲预测性能？

主要发现

• 在理论上，GBP 实现了预计算和训练的亚线性时间复杂度。
• GBP 在多个数据集上提供了最先进或具有竞争力的表现，同时显著降低了训练/测试时间。
• 在一个拥有超过 60 百万个节点和 1.8 十亿条边的图上，GBP 在单机上不到半小时内完成运行。
• 对于大规模图的归纳学习，GBP 达到与 GraphSAINT 相近的准确性，运行时间减少 5–10x。
• GBP 在千亿规模的 Friendster 上，即使使用随机特征，也展现出强劲的性能，凸显其捕捉图结构的能力。