[论文解读] NUQSGD: Provably Communication-efficient Data-parallel SGD via Nonuniform Quantization

Ali Ramezani-Kebrya, Fartash Faghri+4 more|City Research Online (City University London)|Apr 28, 2021

Advanced Neural Network Applications被引用 12

一句话总结

本文提出NUQSGD，一种用于数据并行随机梯度下降的非均匀量化方案，其理论保证强于QSGD，同时在经验性能上匹配或超越启发式QSGDinf变体及其他压缩方法。通过根据梯度幅值自适应分配量化级别，NUQSGD在保证收敛稳定性的同时降低了通信成本。

ABSTRACT

As the size and complexity of models and datasets grow, so does the need for communication-efficient variants of stochastic gradient descent that can be deployed to perform parallel model training. One popular communication-compression method for data-parallel SGD is QSGD (Alistarh et al., 2017), which quantizes and encodes gradients to reduce communication costs. The baseline variant of QSGD provides strong theoretical guarantees, however, for practical purposes, the authors proposed a heuristic variant which we call QSGDinf, which demonstrated impressive empirical gains for distributed training of large neural networks. In this paper, we build on this work to propose a new gradient quantization scheme, and show that it has both stronger theoretical guarantees than QSGD, and matches and exceeds the empirical performance of the QSGDinf heuristic and of other compression methods.

研究动机与目标

• 解决分布式训练中梯度压缩理论保证与经验性能之间的差距。
• 开发一种量化方案，在保持强理论收敛保证的同时，匹配或优于启发式方法（如QSGDinf）的经验性能提升。
• 通过基于梯度幅值优化量化级别，实现在数据并行SGD中的高效通信。
• 为大规模模型训练提供一种可证明通信高效的现有压缩技术替代方案。

提出的方法

• 提出一种非均匀量化方案，将更多量化级别分配给较大的梯度幅值，从而在最关键位置提升精度。
• 设计一种量化函数，基于梯度统计信息采用非均匀划分策略，将梯度映射到离散级别。
• 引入一种通信高效的编码方法，在减少位宽的同时保留梯度方向和幅值的准确性。
• 理论分析证明在标准假设下的收敛性，其边界优于QSGD的保证。
• 在大规模神经网络训练中对NUQSGD进行经验评估，与QSGD、QSGDinf及其他压缩基线进行比较。

实验结果

研究问题

• RQ1 非均匀量化方案能否在理论收敛保证上强于QSGD，同时在经验性能上也优于QSGD？
• RQ2 基于梯度幅值自适应分配量化级别的方法如何影响训练稳定性和收敛速度？
• RQ3 NUQSGD在模型准确率和通信效率方面是否优于启发式QSGDinf变体？
• RQ4 与现有方法相比，NUQSGD的理论通信复杂度如何？

主要发现

• NUQSGD实现了可证明的收敛性，其理论边界比QSGD更紧，展现出更强的理论保证。
• NUQSGD在训练大规模神经网络时，其经验性能与QSGDinf启发式变体相当或更优。
• 该方法通过根据梯度幅值优化量化级别，降低了通信成本，提升了对优化最具贡献区域的精度。
• 实验结果表明，NUQSGD在显著减少每次梯度更新传输比特数的同时，仍能保持高模型准确率。