[论文解读] Sparse Allreduce: Efficient Scalable Communication for Power-Law Data

Huasha Zhao, John Canny|arXiv (Cornell University)|Dec 11, 2013

Graph Theory and Algorithms参考文献 24被引用 10

一句话总结

本文提出稀疏 Allreduce，一种针对幂律数据的分布式机器学习通信优化原语，采用混合蝶形-轮转网络结构，结合嵌套通信与异构节点度数，通过稀疏、特征感知的数据传输减少通信开销，相较于 Hadoop 和 PowerGraph 最高实现 10 倍加速。

ABSTRACT

Many large datasets exhibit power-law statistics: The web graph, social networks, text data, click through data etc. Their adjacency graphs are termed natural graphs, and are known to be difficult to partition. As a consequence most distributed algorithms on these graphs are communication intensive. Many algorithms on natural graphs involve an Allreduce: a sum or average of partitioned data which is then shared back to the cluster nodes. Examples include PageRank, spectral partitioning, and many machine learning algorithms including regression, factor (topic) models, and clustering. In this paper we describe an efficient and scalable Allreduce primitive for power-law data. We point out scaling problems with existing butterfly and round-robin networks for Sparse Allreduce, and show that a hybrid approach improves on both. Furthermore, we show that Sparse Allreduce stages should be nested instead of cascaded (as in the dense case). And that the optimum throughput Allreduce network should be a butterfly of heterogeneous degree where degree decreases with depth into the network. Finally, a simple replication scheme is introduced to deal with node failures. We present experiments showing significant improvements over existing systems such as PowerGraph and Hadoop.

研究动机与目标

• 解决在网页图、社交网络和文本数据等常见幂律数据集上，分布式机器学习与图算法中的通信瓶颈问题。
• 通过最小化节点间不必要的数据传输，提升稀疏不规则数据的 Allreduce 性能。
• 设计一种可扩展、容错的通信原语，专为稀疏矩阵运算及 PageRank、随机梯度下降等迭代算法优化。
• 优化网络拓扑与通信模式，以降低在通用集群上的延迟并提升吞吐量。

提出的方法

• 提出一种结合蝶形与轮转结构的混合网络拓扑，以在稀疏 Allreduce 中平衡负载并减少拥塞。
• 引入嵌套通信模式而非级联阶段，减少通信轮次，提升可扩展性。
• 设计一种非均匀蝶形网络，其中节点度数随深度递减，以更好地匹配幂律数据的稀疏分布特性。
• 实现一种复制方案，在最小性能开销下处理节点故障，确保生产集群中的容错能力。
• 通过仅传输每个节点所需的有效非零特征实现稀疏数据传输，避免全向量聚合。
• 使用真实工作负载（包括 PageRank、谱聚类和小批量 SGD）评估该原语，与 Hadoop、PowerGraph 和 GraphX 进行对比。

实验结果

研究问题

• RQ1 如何针对稀疏、幂律分布的分布式数据优化 Allreduce，以减少大规模机器学习中的通信开销？
• RQ2 蝶形、轮转或混合网络拓扑中，哪种拓扑在稀疏 Allreduce 中能最好地平衡负载均衡与吞吐量？
• RQ3 在稀疏 Allreduce 中，嵌套通信阶段是否优于级联阶段的性能表现？
• RQ4 具有逐层递减度数的非均匀蝶形网络是否能提升可扩展性并降低延迟？
• RQ5 在真实图与机器学习工作负载上，所提出的 Sparse Allreduce 与 Hadoop、PowerGraph 和 GraphX 等现有系统相比性能如何？

主要发现

• Sparse Allreduce 通过仅传输非零特征减少通信开销，在大规模图工作负载上相较 Hadoop 和 PowerGraph 最高实现 10 倍加速。
• 混合蝶形-轮转网络拓扑在负载均衡与最小化竞争方面优于纯蝶形或轮转网络。
• 与密集 Allreduce 中使用的级联阶段相比，嵌套通信阶段可减少通信轮次，提升可扩展性。
• 具有从上至下递减度数的非均匀蝶形网络在幂律数据分布下实现了最优吞吐量。
• 系统在 Twitter 关注者图上完成 10 次 PageRank 迭代仅需 6 秒，在 Yahoo 图上仅需 23 秒，显著优于 Hadoop 和 PowerGraph。
• 当前性能受限于 Java 套接字，但未来集成 RDMA（如 RoCE 或 Sockets Direct）有望进一步提升性能。