[论文解读] Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis

Maciej Besta, Torsten Hoefler|arXiv (Cornell University)|May 19, 2022

Advanced Graph Neural Networks被引用 15

一句话总结

本文对并行与分布式图神经网络（GNN）进行了全面的并发性分析，提出了数据并行性、模型并行性、流水线处理及异步性的分类体系。该研究对多种GNN模型与硬件平台上的工作-深度、通信量、同步开销及张量稀疏性进行了形式化分析，得出可操作的洞察，并识别出在现代架构上实现可扩展、高性能GNN计算的关键研究挑战。

ABSTRACT

Graph neural networks (GNNs) are among the most powerful tools in deep learning. They routinely solve complex problems on unstructured networks, such as node classification, graph classification, or link prediction, with high accuracy. However, both inference and training of GNNs are complex, and they uniquely combine the features of irregular graph processing with dense and regular computations. This complexity makes it very challenging to execute GNNs efficiently on modern massively parallel architectures. To alleviate this, we first design a taxonomy of parallelism in GNNs, considering data and model parallelism, and different forms of pipelining. Then, we use this taxonomy to investigate the amount of parallelism in numerous GNN models, GNN-driven machine learning tasks, software frameworks, or hardware accelerators. We use the work-depth model, and we also assess communication volume and synchronization. We specifically focus on the sparsity/density of the associated tensors, in order to understand how to effectively apply techniques such as vectorization. We also formally analyze GNN pipelining, and we generalize the established Message-Passing class of GNN models to cover arbitrary pipeline depths, facilitating future optimizations. Finally, we investigate different forms of asynchronicity, navigating the path for future asynchronous parallel GNN pipelines. The outcomes of our analysis are synthesized in a set of insights that help to maximize GNN performance, and a comprehensive list of challenges and opportunities for further research into efficient GNN computations. Our work will help to advance the design of future GNNs.

研究动机与目标

• 为解决在大规模并行架构上高效执行复杂、不规则且密集的GNN计算的挑战。
• 构建GNN中并行性的统一分类体系，涵盖数据并行性、模型并行性及流水线并行性，包括异步执行。
• 分析多种GNN模型与框架中的工作-深度、通信量、同步开销及张量稀疏性，以指导优化。
• 将消息传递GNN类泛化至任意流水线深度，并识别未来优化的机遇。
• 综合洞察并提出一份全面的开放挑战清单，以推动高性能、可扩展GNN系统的发展。

提出的方法

• 提出GNN中并行性的形式化分类体系，包括数据并行性、模型并行性及多种流水线策略。
• 应用工作-深度模型分析GNN模型间的计算复杂度与并发性，量化工作量与深度。
• 评估分布式GNN训练与推理中的通信量与同步开销，尤其在不规则图访问模式下。
• 分析张量稀疏性与密度，以评估向量化与内存访问优化的有效性。
• 将消息传递GNN框架泛化至支持任意流水线深度，从而开启新的优化机遇。
• 研究GNN流水线中各类异步形式，为未来实现可扩展、低同步开销的GNN训练奠定基础。

实验结果

研究问题

• RQ1 现代GNN模型中存在哪些并行形式？如何系统性地对其进行分类？
• RQ2 通信量、同步开销及张量稀疏性在多大程度上影响分布式GNN训练与推理的性能？
• RQ3 在多大程度上可利用流水线处理与异步性来提升GNN计算的可扩展性并减少瓶颈？
• RQ4 如何将消息传递GNN抽象泛化至支持任意流水线深度，以增强优化机会？
• RQ5 在分布式、异构及高性能计算系统中扩展GNN时，关键的开放挑战与研究机遇是什么？

主要发现

• 本文指出，针对复杂GNN模型（除基础图卷积网络GCN与GraphSAGE外）的并行化研究显著不足，尤其针对消息传递GNN类模型。
• 针对非线性GNN模型（如多项式或有理函数类型）的并行化工作极少，表明存在重大研究空白。
• 对异构、动态、时序及分层GNN的并行化研究仍基本未被探索，尽管这些模型日益重要且多样化。
• 作者指出，将GNN扩展至大规模模型与数据集仍面临重大挑战，其性能与CNN及Transformer相比存在显著差距。
• 研究表明，可借鉴动态与流式图处理的技术以提升GNN可扩展性，提示了一条有前景的研究方向。
• 作者指出，集成高性能分布式内存系统、RDMA、SmartNIC及内存计算技术可显著加速分布式GNN计算，但目前此类系统仍极为有限。