[论文解读] Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner

Igor Kabiljo, Brian Karrer+5 more|arXiv (Cornell University)|Jul 20, 2017

VLSI and FPGA Design Techniques参考文献 10被引用 7

一句话总结

本文提出 Social Hash Partitioner (SHP)，一种可扩展的分布式超图划分器，通过使用局部搜索启发式算法最小化概率性扇出（probabilistic fanout），实现对包含数十亿个顶点和超边的超图的高效处理。SHP 在相同硬件条件下，可将超图规模扩展至现有分布式划分器的 100 倍，同时保持与顶尖单机及分布式划分器相当的解质量。

ABSTRACT

We design and implement a distributed algorithm for balanced $k$-way hypergraph partitioning that minimizes fanout, a fundamental hypergraph quantity also known as the communication volume and ($k-1$)-cut metric, by optimizing a novel objective called probabilistic fanout. This choice allows a simple local search heuristic to achieve comparable solution quality to the best existing hypergraph partitioners. Our algorithm is arbitrarily scalable due to a careful design that controls computational complexity, space complexity, and communication. In practice, we commonly process hypergraphs with billions of vertices and hyperedges in a few hours. We explain how the algorithm's scalability, both in terms of hypergraph size and bucket count, is limited only by the number of machines available. We perform an extensive comparison to existing distributed hypergraph partitioners and find that our approach is able to optimize hypergraphs roughly $100$ times bigger on the same set of machines. We call the resulting tool Social Hash Partitioner (SHP), and accompanying this paper, we open-source the most scalable version based on recursive bisection.

研究动机与目标

• 解决大规模分布式系统中对可扩展超图划分的需求，特别是数据库存储分片场景。
• 克服现有超图划分器在处理大规模真实图（如 Facebook 社交图）时的可扩展性限制。
• 将扇出（通信量）作为分布式数据放置中查询性能的关键指标进行最小化。
• 设计一种分布式算法，在最小化跨桶超边跨度的同时保持各桶之间的负载均衡。
• 通过支持增量更新和多维负载均衡启发式方法，实现生产环境中的实际部署。

提出的方法

• 提出一种新颖的目标函数——概率性扇出（p-fanout），用于引导划分过程，支持有效的局部搜索优化。
• 基于 Apache Giraph 框架实现基于递归二分的分布式算法，对空间、计算和通信复杂度进行精细控制。
• 采用局部搜索启发式方法，通过基于收益计算在桶之间迭代移动顶点来逐步提升划分质量。
• 引入主从架构，主节点负责协调移动操作并保持负载均衡，工作节点在其分配的顶点子集上执行本地计算。
• 通过从先前划分初始化并调整移动收益，支持增量更新，以避免过度重新分配。
• 应用多维负载均衡启发式方法，创建 c·k 个临时桶（c > 1），在宽松的负载约束下进行，随后将其合并为 k 个最终桶，以满足所有资源约束。

实验结果

研究问题

• RQ1 当结合新颖目标函数进行优化时，简单的局部搜索启发式方法是否能达到与最先进超图划分器相当的解质量？
• RQ2 所提出的概率性扇出目标在多大程度上实现了可扩展且高效的分布式超图划分？
• RQ3 该算法在超图规模和桶数量增加时，性能如何扩展？
• RQ4 该算法能否在保持负载均衡和低扇出的前提下，处理包含数十亿个顶点和超边的真实世界工作负载？
• RQ5 在大规模超图上，该算法的解质量与现有单机和分布式划分器相比如何？

主要发现

• SHP 在扇出最小化方面，解质量与现有最佳单机和分布式超图划分器（包括 Zoltan 和 Mondriaan）相当。
• 在相同机器集合上，SHP 可处理的超图规模约为现有分布式划分器的 100 倍。
• 该算法通常可在数小时内处理包含数十亿个顶点以及数亿至数十亿个超边的超图。
• 由于对空间、计算和通信复杂度的精细控制，该算法的可扩展性仅受可用机器数量的限制。
• 尽管 SHP 偶尔产生最优解，但 Zoltan 和 Mondriaan 等工具通常能实现更低的扇出，表明目标函数设计仍有进一步优化空间。
• 使用 p-fanout 作为目标函数可有效支持局部搜索，并在大规模场景下保持高解质量，表明其适用于大规模分布式系统。