[论文解读] PipeGCN: Efficient Full-Graph Training of Graph Convolutional Networks with Pipelined Feature Communication

Cheng Wan, Youjie Li+4 more|arXiv (Cornell University)|Mar 20, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

PipeGCN 提出了一种流水线化的通信-计算方案，以隐藏分布式图卷积网络（GCN）训练中跨分区通信的开销，从而实现高效的全图训练。尽管存在特征和梯度的延迟问题，它仍能实现接近原始训练的收敛速度，在多个数据集和GPU配置下，吞吐量提升达1.7×至28.5×，且准确率保持一致。

ABSTRACT

Graph Convolutional Networks (GCNs) is the state-of-the-art method for learning graph-structured data, and training large-scale GCNs requires distributed training across multiple accelerators such that each accelerator is able to hold a partitioned subgraph. However, distributed GCN training incurs prohibitive overhead of communicating node features and feature gradients among partitions for every GCN layer during each training iteration, limiting the achievable training efficiency and model scalability. To this end, we propose PipeGCN, a simple yet effective scheme that hides the communication overhead by pipelining inter-partition communication with intra-partition computation. It is non-trivial to pipeline for efficient GCN training, as communicated node features/gradients will become stale and thus can harm the convergence, negating the pipeline benefit. Notably, little is known regarding the convergence rate of GCN training with both stale features and stale feature gradients. This work not only provides a theoretical convergence analysis but also finds the convergence rate of PipeGCN to be close to that of the vanilla distributed GCN training without any staleness. Furthermore, we develop a smoothing method to further improve PipeGCN's convergence. Extensive experiments show that PipeGCN can largely boost the training throughput (1.7x~28.5x) while achieving the same accuracy as its vanilla counterpart and existing full-graph training methods. The code is available at https://github.com/RICE-EIC/PipeGCN.

研究动机与目标

• 解决在多个加速器上进行分布式GCN训练时的高通信开销和同步成本。
• 通过最小化通信瓶颈，实现在不牺牲模型准确率的前提下高效进行全图训练。
• 对流水线训练中由于特征和梯度延迟导致的收敛性能下降进行理论分析并加以缓解。
• 开发一种实用且低开销的平滑方法，进一步改善在延迟存在情况下的收敛性能。
• 在多种数据集和硬件配置下，显著提升与原始分布式GCN及最先进全图训练方法相比的吞吐量。

提出的方法

• 通过分区内计算隐藏跨分区通信延迟，实现GCN层间的流水线通信。
• 使用第二个CUDA流将通信与计算重叠，批量处理所有通信操作以提高效率。
• 引入一种平滑方法，以减少由特征和梯度延迟引入的误差，提升收敛稳定性。
• 在通信后应用Dropout，以保持梯度一致性，避免反向传播中的噪声。
• 通过在流水线设置中保持前向与反向传播间Dropout掩码的一致性，确保模型准确率。
• 在10Gbps以太网环境下，将该方法扩展至多台GPU服务器，验证其在不同分区策略和硬件配置下的鲁棒性。

实验结果

研究问题

• RQ1 将跨分区通信与分区内计算流水化，是否能显著缩短分布式GCN训练时间，同时不降低模型准确率？
• RQ2 当由于流水化导致特征和特征梯度均出现延迟时，GCN训练的理论收敛速率是多少？
• RQ3 所提出的平滑方法如何减少特征和梯度通信中延迟带来的误差？
• RQ4 在不同数据集和硬件配置下，PipeGCN与原始分布式GCN及现有全图训练方法相比，在吞吐量和准确率方面表现如何？
• RQ5 当在具有异构分区和网络约束的多台GPU服务器上扩展时，PipeGCN能否保持高训练效率和准确率？

主要发现

• 与原始分布式GCN训练相比，PipeGCN在所有评估数据集上均实现了1.7×至28.5×的训练吞吐量提升，且准确率保持一致。
• PipeGCN的理论收敛速率为O(T^(-2/3))，接近无延迟情况下的原始分布式GCN训练的O(T^(-1))速率。
• 所提出的平滑方法进一步改善了收敛性能，减少了延迟带来的误差，实现了高吞吐量下的稳定训练。
• 在Reddit数据集上，PipeGCN在2至16个GPU分区下保持97.0%至97.14%的准确率，小规模设置下加速比为1.16×至1.65×，在3×4 GPU配置下最高达1.65×。
• 该方法在多台GPU服务器间有效扩展，无论分区方式或硬件配置如何，均保持准确率并实现15%至66%的加速比。
• 实验结果表明，PipeGCN的变体（如PipeGCN-GF）在收敛速度上与原始训练相当，但训练时间缩短为一半，证实了流水线和平滑方法的有效性。