[论文解读] Survey on Graph Neural Network Acceleration: An Algorithmic Perspective

Xin Liu, Mingyu Yan+6 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本综述从算法角度全面探讨图神经网络（GNN）加速，提出一种新颖的五类分类法，按优化因素与核心机制对方法进行分类。系统性地回顾了图级与模型级优化方法——如采样、稀疏化、划分、简化与压缩——突出其效率、权衡关系与协同效应，并指出了未来在动态图支持、硬件友好算法及软硬件协同设计方面的研究方向。

ABSTRACT

Graph neural networks (GNNs) have been a hot spot of recent research and are widely utilized in diverse applications. However, with the use of huger data and deeper models, an urgent demand is unsurprisingly made to accelerate GNNs for more efficient execution. In this paper, we provide a comprehensive survey on acceleration methods for GNNs from an algorithmic perspective. We first present a new taxonomy to classify existing acceleration methods into five categories. Based on the classification, we systematically discuss these methods and highlight their correlations. Next, we provide comparisons from aspects of the efficiency and characteristics of these methods. Finally, we suggest some promising prospects for future research.

研究动机与目标

• 应对图规模与模型深度不断增长所带来的GNN高效执行的迫切需求。
• 系统性地将现有GNN算法加速方法归纳为一种新颖的五类分类法。
• 比较训练与推理阶段各类加速技术的效率、特性及其相互关系。
• 识别GNN加速中的关键挑战与未来研究方向，尤其关注动态图与软硬件协同设计。
• 弥合算法优化与硬件感知设计之间的鸿沟，以提升GNN框架的整体性能。

提出的方法

• 提出一种双层分类法，依据优化因素（如计算、内存、通信）与核心机制（如采样、稀疏化、划分）对GNN加速方法进行分类。
• 系统回顾并分析五类算法加速方法：采样、稀疏化、划分、简化与压缩，重点关注其底层原理与设计目标。
• 基于关键指标评估方法：计算成本（Compt.）、内存访问（Mem.）与通信成本（Com.），尤其在分布式或边缘计算环境中。
• 强调各类方法之间的相关性，例如稀疏化可减少内存访问，采样可降低计算成本，且这些方法可协同使用。
• 引入硬件感知优化策略，如局部性感知采样，以使算法选择与底层硬件特性相匹配。
• 倡导软硬件协同设计，借鉴图处理系统（如GraphDynS）的实践经验，作为协同优化GNN执行语义与硬件数据通路的蓝图。

实验结果

研究问题

• RQ1 如何基于优化目标与机制，系统性地对现有GNN算法加速方法进行分类？
• RQ2 在计算、内存与通信成本方面，不同GNN加速技术的关键权衡与性能特征是什么？
• RQ3 采样、稀疏化、划分、简化与压缩方法在设计原理与性能结果方面有何内在关联？
• RQ4 在动态图上加速GNN的主要挑战是什么？现有方法如何扩展以支持动态拓扑与特征？
• RQ5 算法设计如何与硬件特性对齐以实现更高效率？未来GNN加速中，算法与硬件协同设计扮演何种关键角色？

主要发现

• 所提出的五类分类法——采样、稀疏化、划分、简化与压缩——为GNN加速方法的分类与比较提供了一个统一框架。
• 采样方法如AS-GCN与GraphSAINT通过选择代表性邻居降低计算成本，实现显著加速且方差可控。
• 稀疏化技术如NeuralSparse可移除与任务无关的边，减少内存访问，并通过隐式去噪提升泛化能力。
• 划分方法通过最小化跨分区边数并实现设备间负载均衡，提升分布式环境下的通信效率。
• 压缩方法如KD-GCN将知识蒸馏扩展至动态图，通过虚拟边注入实现高效模型蒸馏。
• 未来研究应优先关注硬件友好型算法设计与软硬件协同设计，因现有方法常忽视底层硬件特性，尤其在动态图场景下。