[论文解读] Nested Dithered Quantization for Communication Reduction in Distributed Training

Afshin Abdi, Faramarz Fekri|arXiv (Cornell University)|Apr 1, 2019

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了一种抖动量化（DQSG）和嵌套抖动量化（NDQSG）方法，以减少分布式深度学习中的通信开销。通过在量化前向梯度添加受控抖动，DQSG 确保量化误差与梯度值无关，从而实现稳定收敛；NDQSG 利用不同工作节点间梯度的相关性，将比特数减少 30% 而不损失性能，在准确率和收敛速度上优于一位量化和 QSGD 方法。

ABSTRACT

In distributed training, the communication cost due to the transmission of gradients or the parameters of the deep model is a major bottleneck in scaling up the number of processing nodes. To address this issue, we propose \\emph{dithered quantization} for the transmission of the stochastic gradients and show that training with \\emph{Dithered Quantized Stochastic Gradients (DQSG)} is similar to the training with unquantized SGs perturbed by an independent bounded uniform noise, in contrast to the other quantization methods where the perturbation depends on the gradients and hence, complicating the convergence analysis. We study the convergence of training algorithms using DQSG and the trade off between the number of quantization levels and the training time. Next, we observe that there is a correlation among the SGs computed by workers that can be utilized to further reduce the communication overhead without any performance loss. Hence, we develop a simple yet effective quantization scheme, nested dithered quantized SG (NDQSG), that can reduce the communication significantly \\emph{without requiring the workers communicating extra information to each other}. We prove that although NDQSG requires significantly less bits, it can achieve the same quantization variance bound as DQSG. Our simulation results confirm the effectiveness of training using DQSG and NDQSG in reducing the communication bits or the convergence time compared to the existing methods without sacrificing the accuracy of the trained model.

研究动机与目标

• 在不牺牲模型准确率的前提下，减少分布式深度学习训练中的通信开销。
• 解决现有量化方法中量化误差依赖于输入梯度的局限性，从而简化收敛性分析。
• 利用不同工作节点间随机梯度的相关性，进一步降低通信比特数。
• 设计一种可扩展的、低比特的量化方案，兼容同步与异步训练框架。

提出的方法

• 通过在量化前添加均匀随机抖动信号，对随机梯度应用抖动量化，以确保误差与输入梯度相互独立。
• 使用步长为 Δ 的 M 级均匀量化器，输出为 Q(v) = Δ·⌊v/Δ⌉，抖动从 U[−Δ/2, Δ/2] 中抽取。
• 提出嵌套抖动量化（NDQSG），采用分层量化机制：先将梯度粗略量化为粗粒度等级，再对子组使用更精细的量化进行优化。
• 建模工作节点间梯度的相关性，并据此设计嵌套结构，在保持量化方差不变的前提下减少比特使用。
• 应用熵编码进一步压缩量化后的梯度，降低比特率而不影响模型性能。
• 证明 NDQSG 保持与 DQSG 相同的量化方差上界，从而确保等效的收敛行为。

实验结果

研究问题

• RQ1 通过将量化误差与梯度值解耦，抖动量化是否能稳定分布式训练的收敛性？
• RQ2 在分布式 SGD 中，量化级别数量如何影响收敛速度与通信成本？
• RQ3 能否利用不同工作节点间随机梯度的相关性，在不增加量化方差的前提下减少通信比特？
• RQ4 嵌套抖动量化是否在显著减少比特数的同时，实现与标准抖动量化相当的训练准确率与收敛速度？

主要发现

• 与一位量化相比，DQSG 将通信比特数减少高达 6 倍，且准确率损失极小——例如，FC300-100 模型经熵编码后，每工作节点仅需 38.6 Kbits。
• 与 DQSG 相比，NDQSG 将通信量减少超过 30%，在 FC300-100 模型中，通信量为 422.8 Kbits/worker，而 DQSG 为 619.2 Kbits。
• 对于使用 8 个工作节点的 CifarNet 模型，NDQSG 在 50 个周期后达到 64.1% 的准确率，与 DQSG 相当，并优于 QSGD（64.1%）和一位量化（47.8%）。
• DQSG 在训练迭代次数上收敛快于基线方法，表明其独立噪声结构改善了收敛动力学。
• 随着工作节点数量增加，量化训练与无量化训练之间的收敛差距因梯度平均效应而缩小，验证了方法的可扩展性。
• NDQSG 在显著降低比特使用的同时，保持了与 DQSG 相当的训练准确率与收敛速度，证明其在低带宽分布式系统中的有效性。