[论文解读] SparCML: High-Performance Sparse Communication for Machine Learning

Cédric Renggli, Saleh Ashkboos+3 more|arXiv (Cornell University)|Feb 22, 2018

Stochastic Gradient Optimization Techniques参考文献 57被引用 11

一句话总结

SparCML 是一种高性能稀疏通信库，专为机器学习设计，通过利用梯度中的稀疏性并支持低精度、非阻塞通信，优化了 allreduce 等集合操作。它通过动态适应稀疏模式，在大规模集群中实现高效可扩展的规约，相比密集和朴素稀疏实现，实现了数量级的速度提升。

ABSTRACT

Applying machine learning techniques to the quickly growing data in science and industry requires highly-scalable algorithms. Large datasets are most commonly processed "data parallel" distributed across many nodes. Each node's contribution to the overall gradient is summed using a global allreduce. This allreduce is the single communication and thus scalability bottleneck for most machine learning workloads. We observe that frequently, many gradient values are (close to) zero, leading to sparse of sparsifyable communications. To exploit this insight, we analyze, design, and implement a set of communication-efficient protocols for sparse input data, in conjunction with efficient machine learning algorithms which can leverage these primitives. Our communication protocols generalize standard collective operations, by allowing processes to contribute arbitrary sparse input data vectors. Our generic communication library, SparCML, extends MPI to support additional features, such as non-blocking (asynchronous) operations and low-precision data representations. As such, SparCML and its techniques will form the basis of future highly-scalable machine learning frameworks.

研究动机与目标

• 为解决大规模分布式机器学习中的通信瓶颈问题，其中密集梯度的 allreduce 操作限制了可扩展性。
• 利用深度学习中常见的模型梯度内在稀疏性，以减少通信量和延迟。
• 设计并实现一个通用通信库，支持机器学习工作负载中的稀疏、低精度和非阻塞集合操作。
• 扩展 MPI，提供高效的稀疏集合操作，能够适应跨节点未知的非零索引重叠。
• 在实现接近最优带宽和延迟性能的同时，实现与现有机器学习框架的无缝集成。

提出的方法

• 设计自适应稀疏集合算法，动态处理跨节点非零梯度索引的未知重叠。
• 扩展 MPI，新增稀疏 allreduce 原语，支持非阻塞操作和低精度数据表示（例如 4 位梯度）。
• 实现混合通信策略，结合 reduce-scatter 和 allgather 阶段，仅传输非零值。
• 引入一种高效编码稀疏向量的数据表示方法，并在规约过程中必要时转换为密集表示。
• 使用张量融合技术合并相邻梯度，减少大模型中的通信开销。
• 通过非阻塞操作重叠计算与通信，隐藏稀疏 allreduce 流水线中的延迟。

实验结果

研究问题

• RQ1 稀疏通信协议是否能显著降低分布式机器学习 allreduce 操作中的带宽和延迟？
• RQ2 如何设计稀疏集合操作，使其能够适应跨节点未知且多变的非零索引重叠？
• RQ3 低精度和非阻塞操作在多大程度上能进一步提升机器学习中稀疏通信的性能？
• RQ4 像 SparCML 这样的通用通信库是否能在真实世界机器学习工作负载中超越高度优化的密集实现或朴素稀疏实现？
• RQ5 梯度稀疏性与大批次训练之间有何相互作用？SparCML 是否可扩展以支持此类场景？

主要发现

• SparCML 在合成基准和真实机器学习工作负载中，相比高度优化的密集集合实现，实现了数量级的速度提升。
• 该库通过利用梯度中的稀疏性（在深层网络中频繁为零或近似零，尤其是使用 ReLU 激活函数时）显著降低了通信成本。
• SparCML 支持高效的 4 位精度规约，实现显著的带宽节省，同时不影响收敛性。
• 该框架在带宽和延迟方面表现出接近最优的性能界限，与理论极限保持在常数因子内。
• SparCML 中的非阻塞操作可有效重叠计算与通信，进一步提升可扩展性。
• SparCML 可无缝集成到现有机器学习框架中，并支持张量融合，减少了大模型中的通信阶段数量。