[论文解读] Vertex-Centric Graph Processing: Good, Bad, and the Ugly

Arijit Khan|arXiv (Cornell University)|Dec 22, 2016

Graph Theory and Algorithms参考文献 20被引用 5

一句话总结

本文通过分析计算开销和工作负载不平衡，评估了Pregel和Giraph等顶点中心图处理框架。研究发现，除欧拉回路树算法外，大多数顶点中心实现的计算工作量均超过其最佳已知的顺序对应算法，且普遍存在高迭代次数或负载不平衡问题，凸显了该模型在高效表达某些图算法方面的根本局限性。

ABSTRACT

We study distributed graph algorithms that adopt an iterative vertex-centric framework for graph processing, popularized by the Google's Pregel system. Since then, there are several attempts to implement many graph algorithms in a vertex-centric framework, as well as efforts to design optimization techniques for improving the efficiency. However, to the best of our knowledge, there has not been any systematic study to compare these vertex-centric implementations with their sequential counterparts. Our paper addresses this gap in two ways. (1) We analyze the computational complexity of such implementations with the notion of time-processor product, and benchmark several vertex-centric graph algorithms whether they perform more work with respect to their best-known sequential solutions. (2) Employing the concept of balanced practical Pregel algorithms, we study if these implementations suffer from imbalanced workload and large number of iterations. Our findings illustrate that with the exception of Euler tour tree algorithm, all other algorithms either perform more work than their best-known sequential approach, or suffer from imbalanced workload/ large number of iterations, or even both. We also emphasize on graph algorithms that are fundamentally difficult to be expressed in vertex-centric frameworks, and conclude by discussing the road ahead for distributed graph processing.

研究动机与目标

• 系统比较顶点中心图实现与其最佳已知顺序对应算法在计算工作量方面的差异。
• 利用平衡实用Pregel算法（BPPA）度量分析顶点中心算法是否因高迭代次数或工作负载不平衡而受影响。
• 识别在顶点中心框架中难以高效表达的图算法。
• 评估时间-处理器乘积作为分布式图算法复杂度度量的有效性。
• 通过识别分布式图处理中的关键挑战和开放问题，为未来研究提供指导。

提出的方法

• 本文使用时间-处理器乘积度量，量化顶点中心实现相对于顺序解决方案的总计算工作量。
• 应用平衡实用Pregel算法（BPPA）框架，评估实现是否因高迭代次数或工作负载不平衡而受影响。
• 作者在多个顶点中心系统上对20种广泛使用的图算法（包括PageRank、连通分量和图模拟）进行了基准测试。
• 针对每个算法，分析消息复杂度、每轮超步的计算量以及超步数量，以计算时间-处理器乘积。
• 将推导出的时间-处理器乘积与各问题最佳顺序算法的已知时间复杂度进行比较。
• 研究识别出顶点中心模型在子图中心或多跳邻域计算方面的结构性局限。

实验结果

研究问题

• RQ1 顶点中心图算法的实现是否比其最佳已知顺序对应算法执行更多的计算工作？
• RQ2 顶点中心实现因工作负载不平衡或过多迭代次数而受影响的程度如何？
• RQ3 哪些图算法在顶点中心模型中本质上难以高效表达？
• RQ4 顶点中心实现的时间-处理器乘积与最优顺序复杂度相比如何？
• RQ5 顶点中心模型在分布式图处理方面存在哪些关键局限？

主要发现

• 除欧拉回路树算法外，所有分析的顶点中心实现均比其最佳已知顺序对应算法执行更多计算工作，该结论基于时间-处理器乘积度量。
• 图模拟算法的时间-处理器乘积为O(m²(nq + mq))，超过同一问题最佳已知顺序算法的复杂度。
• 许多顶点中心实现存在高迭代次数，超步数量上界为O(m)，这在渐近意义上大于O(log n)，违反了BPPA标准。
• 图模拟每轮超步的消息复杂度为O(mnq)，表明因匹配集的重复传播导致通信开销过高。
• 本文识别出子图中心任务（如局部聚类、三角形计数和社区检测）因内存和通信成本过高而支持不佳。
• 研究结论认为，顶点中心模型不适用于需要全局协调或边流处理的算法（如分布式并查集），并强调需要替代编程模型。