[论文解读] Redundancy-Free Computation Graphs for Graph Neural Networks

Zhihao Jia, Sina Lin+4 more|arXiv (Cornell University)|Jun 9, 2019

Advanced Graph Neural Networks参考文献 17被引用 9

一句话总结

本文提出了分层聚合计算图（HAGs），一种新型图神经网络（GNN）表示方法，通过分层结构显式管理共享邻居聚合，消除冗余计算和数据传输。HAGs 将聚合开销降低最多达 6.3 倍，同时在真实图上保持模型准确率的前提下，将端到端训练和推理吞吐量分别提升最多 2.8 倍和 2.9 倍。

ABSTRACT

Graph Neural Networks (GNNs) are based on repeated aggregations of information across nodes' neighbors in a graph. However, because common neighbors are shared between different nodes, this leads to repeated and inefficient computations. We propose Hierarchically Aggregated computation Graphs (HAGs), a new GNN graph representation that explicitly avoids redundancy by managing intermediate aggregation results hierarchically, eliminating repeated computations and unnecessary data transfers in GNN training and inference. We introduce an accurate cost function to quantitatively evaluate the runtime performance of different HAGs and use a novel HAG search algorithm to find optimized HAGs. Experiments show that the HAG representation significantly outperforms the standard GNN graph representation by increasing the end-to-end training throughput by up to 2.8x and reducing the aggregations and data transfers in GNN training by up to 6.3x and 5.6x, while maintaining the original model accuracy.

研究动机与目标

• 解决标准 GNN 计算图在真实图中因共享邻居而重复计算激活值所导致的低效问题。
• 设计一种新型 GNN 表示方法，以捕捉具有聚类结构的真实图中的共性计算模式。
• 开发一个成本模型与搜索算法，用于自动发现具有强理论保证的优化 HAGs。
• 在不牺牲模型准确率的前提下，显著提升 GNN 训练与推理的性能。

提出的方法

• 提出 HAGs，一种分层图表示方法，通过重用共享邻居的中间聚合结果，实现跨节点的计算复用。
• 定义一个成本模型，基于计算量与内存访问开销，定量估算不同 HAGs 的运行时性能。
• 设计一种新颖的 HAG 搜索算法，利用子模性特性，寻找至少达到最优解 (1−1/e)≈63% 近似值的 HAGs。
• 证明理论最优性保证：对于需要有序邻居聚合的 GNN，可实现全局最优；对于其他 GNN，则提供 (1−1/e)-近似解。
• 将搜索算法应用于真实图，自动生成适用于任意 GNN 模型的优化 HAGs。
• 确保 HAGs 具备模型无关性，且在功能上等价于标准 GNN 图，完整保留原始模型的准确率。

实验结果

研究问题

• RQ1 能否通过新型 GNN 计算图表示，减少真实图中因共享邻居导致的冗余计算？
• RQ2 如何系统性地搜索 HAGs，以在保持模型准确率的前提下最小化计算与内存访问开销？
• RQ3 在不同 GNN 聚合策略下，HAG 搜索算法可提供哪些理论性能保证？
• RQ4 与标准 GNN 图相比，HAGs 在端到端训练与推理效率方面可实现多大程度的提升？

主要发现

• HAGs 相较于标准 GNN 图，将聚合次数最多减少 6.3 倍。
• HAGs 将数据传输量最多减少 5.6 倍，显著降低内存带宽压力。
• 端到端训练吞吐量最高提升 2.8 倍，推理吞吐量最高提升 2.9 倍，且模型准确率无下降。
• HAG 搜索算法在成本模型下，至少达到全局最优 HAG 的 (1−1/e)≈63% 近似值。
• 该方法具有通用性，适用于任意 GNN 模型，因为 HAGs 具备模型无关性，并完整保留原始计算语义。