[论文解读] Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training

An Xu, Zhouyuan Huo+1 more|arXiv (Cornell University)|Feb 25, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 4

一句话总结

该论文提出了BinGrad和ORQ两种新型梯度量化方案，能够根据梯度分布动态确定二值化和多级压缩的最优量化级别，从而最小化量化方差。在CIFAR和ImageNet上的实验表明，该方法在通信成本更低的情况下仍能实现更高的模型准确率，尤其在极端量化和分布式训练设置下表现更优。

ABSTRACT

The communication of gradients is costly for training deep neural networks with multiple devices in computer vision applications. In particular, the growing size of deep learning models leads to higher communication overheads that defy the ideal linear training speedup regarding the number of devices. Gradient quantization is one of the common methods to reduce communication costs. However, it can lead to quantization error in the training and result in model performance degradation. In this work, we deduce the optimal condition of both the binary and multi-level gradient quantization for extbf{ANY} gradient distribution. Based on the optimal condition, we develop two novel quantization schemes: biased BinGrad and unbiased ORQ for binary and multi-level gradient quantization respectively, which dynamically determine the optimal quantization levels. Extensive experimental results on CIFAR and ImageNet datasets with several popular convolutional neural networks show the superiority of our proposed methods.

研究动机与目标

• 推导在不假设特定梯度分布情况下的梯度压缩最优量化条件。
• 设计可动态适应实时梯度统计特性的实用量化方案。
• 最小化分布式深度学习训练中由量化引入的方差与偏差。
• 在实现更低通信开销的同时获得更优的模型性能，尤其在极端压缩条件下。
• 在单机和多工作者分布式设置下验证该方法的有效性。

提出的方法

• 基于完整的梯度分布推导2级和多级梯度量化的最优量化条件，无需对分布做假设。
• 提出BinGrad-b和BinGrad-pb用于二值量化，二者在偏差-方差权衡上有所不同：BinGrad-b最小化方差，BinGrad-pb通过更宽的范围减少偏差。
• 提出ORQ（优化随机量化）用于多级量化，采用贪心算法选择能最小化期望量化方差的量化级别。
• 使用可学习阈值的随机舍入方法以保持梯度期望并减少误差。
• 在分布式设置中应用梯度裁剪以进一步提升性能，尤其对量化级别较少的ORQ效果更明显。
• 采用分桶梯度压缩，使用固定大小的块（例如d=512）以降低每桶的通信成本。

实验结果

研究问题

• RQ1 在任意梯度分布下，2级梯度量化的最优条件是什么？
• RQ2 如何优化多级梯度量化以最小化方差，且不假设梯度服从高斯或拉普拉斯分布？
• RQ3 动态的、与分布感知的量化级别是否能优于固定级别方案（如QSGD和TernGrad）？
• RQ4 该方法在极端压缩和带宽受限的分布式训练设置下的表现如何？
• RQ5 与基线方法相比，该方案是否能在降低通信开销的同时保持模型准确率？

主要发现

• 在无裁剪和大批次设置下，ORQ在CIFAR-10/100上的top-1准确率比基线方法高出0.36%至2.85%。
• 当桶大小从128增加到32768时，ORQ的测试准确率仅下降4.58%，而基线下降5.23%，表明ORQ具有更强的鲁棒性。
• 在ImageNet上，ORQ-5和ORQ-9的测试准确率与全精度梯度相差不超过0.8%，而ORQ-3的性能与QSGD-5和QSGD-9相当。
• 将压缩比从20.2降低到10.1时，ORQ的top-1准确率提升1.47%，而基线仅提升0.95%，表明ORQ具有更高的效率。
• BinGrad-b的量化误差低于BinGrad-pb，且在不使用裁剪时，两者在测试准确率上均优于三级量化。
• 即使在极端量化条件下，所提方法仍能保持高性能，展现出在分布式训练通信约束下的强鲁棒性。