[论文解读] Quiver: Supporting GPUs for Low-Latency, High-Throughput GNN Serving with Workload Awareness

Zeyuan Tan, Xiulong Yuan+8 more|arXiv (Cornell University)|May 18, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

Quiver 是一个工作负载感知的、基于 GPU 加速的 GNN 推理系统，通过使用预测性指标（采样任务的联合采样图大小（PSGS）和特征访问概率）实现图采样与特征聚合的动态调度，相较于最先进的系统（如 DGL 和 PyG），延迟降低最多达 35 倍，吞吐量提升最多达 8 倍。

ABSTRACT

Systems for serving inference requests on graph neural networks (GNN) must combine low latency with high throughout, but they face irregular computation due to skew in the number of sampled graph nodes and aggregated GNN features. This makes it challenging to exploit GPUs effectively: using GPUs to sample only a few graph nodes yields lower performance than CPU-based sampling; and aggregating many features exhibits high data movement costs between GPUs and CPUs. Therefore, current GNN serving systems use CPUs for graph sampling and feature aggregation, limiting throughput. We describe Quiver, a distributed GPU-based GNN serving system with low-latency and high-throughput. Quiver's key idea is to exploit workload metrics for predicting the irregular computation of GNN requests, and governing the use of GPUs for graph sampling and feature aggregation: (1) for graph sampling, Quiver calculates the probabilistic sampled graph size, a metric that predicts the degree of parallelism in graph sampling. Quiver uses this metric to assign sampling tasks to GPUs only when the performance gains surpass CPU-based sampling; and (2) for feature aggregation, Quiver relies on the feature access probability to decide which features to partition and replicate across a distributed GPU NUMA topology. We show that Quiver achieves up to 35 times lower latency with an 8 times higher throughput compared to state-of-the-art GNN approaches (DGL and PyG).

研究动机与目标

• 解决 GNN 推理中因节点度分布不均导致的计算不规则性问题，即采样与聚合工作量波动大。
• 克服当前系统因 GPU 性能不可预测和数据移动成本高，而不得不依赖 CPU 进行采样与聚合的局限性。
• 设计一种基于 GPU 的 GNN 推理系统，通过根据工作负载特征动态调整 GPU 使用，实现低延迟与高吞吐。
• 通过最小化 CPU-GPU 数据移动与通信瓶颈，实现在高请求率（如 100K+ 请求/秒）生产环境下的高效、可扩展 GNN 推理。

提出的方法

• 引入联合采样图大小（PSGS）作为运行时指标，用于预测图采样任务的计算负载，并指导 GPU 与 CPU 的任务调度。
• 仅当 PSGS 显示 GPU 采样相比 CPU 采样具有性能优势时，才将采样任务动态分配至 GPU，避免在小规模工作负载下引发延迟突增。
• 利用特征访问概率指导在分布式 GPU NUMA 架构中的数据放置与复制策略，最小化跨 GPU 通信开销。
• 利用单边内存访问与 GPU 绕过机制加速特征收集，减少 CPU 参与，提升吞吐量。
• 实现一个流式处理管道，集成工作负载感知的采样、优化的特征聚合以及跨分布式 GPU 与 CPU 的 DNN 推理。
• 利用 NVLink 和 InfiniBand 实现 GPU 间及服务器间高速、低延迟的数据传输，避免数据传输过程中的 CPU 瓶颈。

实验结果

研究问题

• RQ1 尽管图结构存在偏斜导致计算高度不规则，如何优化 GNN 推理中的 GPU 利用率？
• RQ2 哪些工作负载感知指标可以预测在 GNN 推理中基于 GPU 的采样是否优于基于 CPU 的采样？
• RQ3 在基于 GPU 的分布式 GNN 系统中，如何通过特征放置与复制策略最小化通信开销？
• RQ4 在高吞吐 GNN 推理中，GPU 加速的特征聚合在多大程度上优于 CPU 协调的通信机制？
• RQ5 低层级通信优化（如 NVLink、单边读取）对端到端 GNN 推理延迟与吞吐量的影响如何？

主要发现

• 在相同的 30 ms 延迟目标下，Quiver 相较于最先进的系统（如 DGL 和 PyG），延迟最高降低 35 倍，吞吐量最高提升 8 倍。
• 在 Reddit 数据集上，Quiver 在 2 台服务器上将服务延迟降低至 4.9 ms，在 8 台服务器上为 7.0 ms，优于 DGL（8.5 ms 和 12.2 ms）与 AliGraph（6.7 ms 和 9.7 ms）。
• Quiver 中的特征收集吞吐量高达 40 GB/s，利用 NVLink 与 InfiniBand，是 DGL 中使用的 RPC 库吞吐量（3 GB/s）的 13 倍。
• 在 mag240m 上禁用 InfiniBand 会使延迟增加 1.6 倍；在 paper100m 上禁用 NVLink 会使延迟增加 1.5 倍，证明高速互连在系统中的关键作用。
• Quiver 的工作负载感知特征放置策略有效降低了通信开销，并在服务器数量从 2 增至 8 时仍能保持低延迟。
• 基于 PSGS 的动态调度机制确保仅在性能有益时才启用 GPU，避免了在小规模或低复杂度请求下性能下降。