[论文解读] S-PowerGraph: Streaming Graph Partitioning for Natural Graphs by Vertex-Cut

Cong Xie, Wu-Jun Li+1 more|arXiv (Cornell University)|Nov 9, 2015

Caching and Content Delivery参考文献 14被引用 10

一句话总结

本文提出 S-PowerGraph，一种针对自然图的新型流式图划分方法，采用顶点切割策略，利用幂律度分布以最小化跨分区通信。在 Twitter-2010 等高度偏斜图上，其复制因子降低幅度高达 30%，相较于最先进基线方法展现出更优的可扩展性和流式环境下的效率。

ABSTRACT

One standard solution for analyzing large natural graphs is to adopt distributed computation on clusters. In distributed computation, graph partitioning (GP) methods assign the vertices or edges of a graph to different machines in a balanced way so that some distributed algorithms can be adapted for. Most of traditional GP methods are offline, which means that the whole graph has been observed before partitioning. However, the offline methods often incur high computation cost. Hence, streaming graph partitioning (SGP) methods, which can partition graphs in an online way, have recently attracted great attention in distributed computation. There exist two typical GP strategies: edge-cut and vertex-cut. Most SGP methods adopt edge-cut, but few vertex-cut methods have been proposed for SGP. However, the vertex-cut strategy would be a better choice than the edge-cut strategy because the degree of a natural graph in general follows a highly skewed power-law distribution. Thus, we propose a novel method, called S-PowerGraph, for SGP of natural graphs by vertex-cut. Our S-PowerGraph method is simple but effective. Experiments on several large natural graphs and synthetic graphs show that our S-PowerGraph can outperform the state-of-the-art baselines.

研究动机与目标

• 为解决大规模图处理中离线图划分带来的高计算成本问题。
• 探索在流式图划分中应用顶点切割策略，尽管其在偏斜图上具有理论优势，但目前仍研究不足。
• 设计一种高效、在线的划分方法，在最小化顶点复制和跨分区边数的同时保持负载均衡。
• 将现有顶点切割方法（如 PowerGraph）适配至流式工作负载，提升其可扩展性和性能。

提出的方法

• S-PowerGraph 采用顶点切割策略，将整个顶点及其关联边分配至单一分区，以减少跨机器通信。
• 其采用基于度的启发式方法——具体为 Degree 和 DegreeIO——以估算顶点分布，并在流式处理中指导分区分配。
• DegreeIO 在 Degree 的基础上引入了入度和出度分布，提升了在非对称图上的估算精度。
• 该方法根据估算的度分布动态将顶点分配至分区，以最小化顶点复制并均衡边的分布。
• 其设计兼容真实世界的流式工作负载，如网络爬取或基于磁盘的图加载。
• 通过跟踪分区大小并调整分配策略，该算法维持负载均衡，避免热点问题。

实验结果

研究问题

• RQ1 在具有幂律度分布的自然图上，顶点切割策略是否能在流式图划分中优于边切割？
• RQ2 基于度的启发式方法在流式顶点切割划分中估算顶点分布的效率如何？
• RQ3 使用入度与同时使用入度和出度估算对划分质量有何影响？
• RQ4 S-PowerGraph 在分区数量增加及图偏斜度变化时的可扩展性如何？
• RQ5 能否有效将类似 PowerGraph 的顶点切割方法扩展至流式环境，同时不牺牲负载均衡或通信效率？

主要发现

• 与 PowerGraph 相比，S-PowerGraph 在 Twitter-2010 上将复制因子降低了高达 30%，在高度偏斜图上表现出显著改进。
• 在阿拉伯语-2005 等非对称图上，DegreeIO 优于 Degree，得益于同时利用入度和出度进行估算，性能提升接近 35%。
• 在高幂律偏斜度的合成图上，S-PowerGraph 相较于 PowerGraph 展现出更大改进，证实其对图偏斜度的依赖性。
• 该方法保持了较低的不平衡因子，所有真实图结果均低于 1.05，表明具有出色的负载均衡能力。
• S-PowerGraph 在分区数量增加时表现出良好可扩展性，随着分区数增加，性能持续提升。
• 该算法在不同流式顺序（随机、BFS、DFS）下均表现稳健，无论输入序列如何，均一致优于基线方法。