[论文解读] QSGD: Communication-Optimal Stochastic Gradient Descent, with Applications to Training Neural Networks

Dan Alistarh, Demjan Grubic+3 more|arXiv (Cornell University)|Oct 7, 2016

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

QSGD 是一种通信优化的随机梯度下降方法，通过使用量化梯度更新，实现了深度神经网络的可证明收敛训练。它将每轮迭代的通信成本降低至亚线性比特，同时保持或略微提升模型精度，在 16 块 GPU 上训练 ImageNet 上的 ResNet-152 时，训练速度最高可提升 1.8 倍。

ABSTRACT

Parallel implementations of stochastic gradient descent (SGD) have received significant research attention, thanks to excellent scalability properties of this algorithm, and to its efficiency in the context of training deep neural networks. A fundamental barrier for parallelizing large-scale SGD is the fact that the cost of communicating the gradient updates between nodes can be very large. Consequently, lossy compression heuristics have been proposed, by which nodes only communicate quantized gradients. Although effective in practice, these heuristics do not always provably converge, and it is not clear whether they are optimal. In this paper, we propose Quantized SGD (QSGD), a family of compression schemes which allow the compression of gradient updates at each node, while guaranteeing convergence under standard assumptions. QSGD allows the user to trade off compression and convergence time: it can communicate a sublinear number of bits per iteration in the model dimension, and can achieve asymptotically optimal communication cost. We complement our theoretical results with empirical data, showing that QSGD can significantly reduce communication cost, while being competitive with standard uncompressed techniques on a variety of real tasks. In particular, experiments show that gradient quantization applied to training of deep neural networks for image classification and automated speech recognition can lead to significant reductions in communication cost, and end-to-end training time. For instance, on 16 GPUs, we are able to train a ResNet-152 network on ImageNet 1.8x faster to full accuracy. Of note, we show that there exist generic parameter settings under which all known network architectures preserve or slightly improve their full accuracy when using quantization.

研究动机与目标

• 解决深度神经网络分布式 SGD 训练中的高通信成本问题。
• 开发一种压缩方案，在标准假设下保证收敛性。
• 实现通信效率与收敛速度之间的可调制权衡。
• 在分布式训练中实现渐近最优的通信成本。
• 通过实证验证，量化方法在多种架构和任务中保持或提升模型精度。

提出的方法

• QSGD 引入了一类梯度压缩方案，使每个节点在通信前对梯度更新进行量化。
• 它采用受控比特数的随机量化，实现模型维度的亚线性通信成本。
• 该方法结合了一个压缩算子，将梯度映射到有限的量化向量集合中，保留对收敛至关重要的方向信息。
• 在标准假设下建立了理论收敛保证，包括有界梯度和利普希茨连续性。
• 该压缩方案允许用户调节每个梯度元素的比特数，以平衡通信成本与收敛速率。
• 该框架支持对称与非对称量化，并提供了量化引入误差的理论边界。

实验结果

研究问题

• RQ1 是否可以使用梯度量化在降低分布式 SGD 通信成本的同时，仍能保证收敛？
• RQ2 每个梯度元素所需的最少比特数是多少，才能维持收敛性和模型精度？
• RQ3 QSGD 是否能在分布式训练中实现渐近最优的通信成本？
• RQ4 尽管精度降低，量化是否仍能实现更快的端到端训练时间？
• RQ5 在何种条件下，梯度量化能保持或提升模型精度？

主要发现

• QSGD 将通信成本降低至模型维度的亚线性比特每轮迭代，实现了可扩展的分布式训练。
• 在 16 块 GPU 上，与标准无压缩 SGD 相比，QSGD 训练 ImageNet 上的 ResNet-152 达到全精度时速度提升了 1.8 倍。
• 量化未导致性能下降；事实上，部分配置在多个架构上保持或略微提升了测试精度。
• 该方法实现了渐近最优的通信成本，意味着在大模型极限下，任何其他压缩方案都无法更优。
• 实证结果表明，图像分类和语音识别任务的端到端训练时间显著减少。
• 该框架在多种深度学习模型中表现出鲁棒性，包括 ResNet 和自动语音识别模型。