[论文解读] On the Utility of Gradient Compression in Distributed Training Systems

Saurabh Agarwal, Hongyi Wang+2 more|arXiv (Cornell University)|Feb 28, 2021

Stochastic Gradient Optimization Techniques参考文献 94被引用 19

一句话总结

本文评估了分布式训练中的梯度压缩，发现尽管采用了重叠计算与通信等显著的系统优化，仅有200多个配置中的6个在优化后的同步SGD上实现了加速。关键洞见是压缩方法中较高的编码-解码开销限制了其优势，尤其是在高带宽环境下，未来性能提升取决于更快的计算能力或更低的压缩延迟。

ABSTRACT

A rich body of prior work has highlighted the existence of communication bottlenecks in synchronous data-parallel training. To alleviate these bottlenecks, a long line of recent work proposes gradient and model compression methods. In this work, we evaluate the efficacy of gradient compression methods and compare their scalability with optimized implementations of synchronous data-parallel SGD across more than 200 different setups. Surprisingly, we observe that only in 6 cases out of more than 200, gradient compression methods provide speedup over optimized synchronous data-parallel training in the typical data-center setting. We conduct an extensive investigation to identify the root causes of this phenomenon, and offer a performance model that can be used to identify the benefits of gradient compression for a variety of system setups. Based on our analysis, we propose a list of desirable properties that gradient compression methods should satisfy, in order for them to provide a meaningful end-to-end speedup.

研究动机与目标

• 评估梯度压缩在现代分布式训练系统中的实际应用价值。
• 将梯度压缩方法与高度优化的同步SGD实现（支持计算与通信重叠）进行对比。
• 阐明尽管理论上可减少通信量，为何梯度压缩通常无法实现加速。
• 构建一个性能模型，以预测梯度压缩在何时能带来端到端加速。
• 定义未来梯度压缩方法应具备的理想特性，以实现有意义的可扩展性。

提出的方法

• 在ResNet-50、ResNet-101和BERT上，对三种梯度压缩方法——sign SGD、MSTop-K和PowerSGD——在200多个配置中进行了实验评估。
• 使用PyTorch v1.8的通信钩子接口，实现了梯度压缩与反向传播计算的重叠。
• 在不同批量大小、网络带宽（1–30 Gbps）和GPU数量（最多96个）下，测量了端到端迭代时间。
• 构建了一个分析性性能模型，综合考虑了计算、通信和编码-解码开销，以预测压缩的实用性。
• 模拟了计算能力提升（最高4倍）和编码-解码时间减少对不同压缩比的影响。
• 使用NCCL实现高效的全部归约通信，并与PyTorch DDP的原生优化实现进行基准对比。

实验结果

研究问题

• RQ1 在何种系统条件下，梯度压缩能为优化后的同步SGD带来端到端加速？
• RQ2 为何现有梯度压缩方法尽管减少了通信量，却仍无法实现加速？
• RQ3 如计算-通信重叠等系统级优化如何影响梯度压缩的可行性？
• RQ4 网络带宽和计算速度对梯度压缩有效性有何影响？
• RQ5 在压缩比与编码-解码时间之间，何种权衡对性能最有利？

主要发现

• 在典型数据中心带宽下，200多个实验配置中仅有6个配置的梯度压缩带来了相对于优化同步SGD的加速。
• 压缩方法的编码-解码时间（例如超过50 ms）超过了隐藏通信延迟的可用时间窗口，从而限制了加速潜力。
• PowerSGD在可扩展性方面优于sign SGD，因为其与全部归约兼容，而sign SGD因缺乏全部归约支持导致延迟更高。
• 在超过9 Gbps的网络带宽下，由于固定的编码-解码开销，PowerSGD的性能反而慢于同步SGD。
• 当计算能力提升4倍时，Rank-4的PowerSGD可实现最高1.75倍的加速，表明未来硬件进步可能释放压缩的潜力。
• 即使以降低压缩比为代价，减少编码-解码时间也能显著提升性能，表明降低延迟比提高压缩比更为关键。