[论文解读] QSGD: Randomized Quantization for Communication-Optimal Stochastic Gradient Descent

Dan Alistarh, Jerry Li+2 more|arXiv (Cornell University)|Oct 7, 2016

Stochastic Gradient Optimization Techniques参考文献 15被引用 68

一句话总结

QSGD 是一种通信高效的随机梯度下降方法，通过使用随机量化来压缩梯度更新，实现在模型维度上通信成本亚线性增长的可证明收敛训练。它在保持真实世界深度学习任务上具有竞争力性能的同时，实现了渐近最优的通信效率。

ABSTRACT

Parallel implementations of stochastic gradient descent (SGD) have received significant research attention, thanks to excellent scalability properties of this algorithm, and to its efficiency in the context of training deep neural networks. A fundamental barrier for parallelizing large-scale SGD is the fact that the cost of communicating the gradient updates between nodes can be very large. Consequently, lossy compresion heuristics have been proposed, by which nodes only communicate quantized gradients. Although effective in practice, these heuristics do not always provably converge, and it is not clear whether they are optimal. In this paper, we propose Quantized SGD (QSGD), a family of compression schemes which allow the compression of gradient updates at each node, while guaranteeing convergence under standard assumptions. QSGD allows the user to trade off compression and convergence time: it can communicate a sublinear number of bits per iteration in the model dimension, and can achieve asymptotically optimal communication cost. We complement our theoretical results with empirical data, showing that QSGD can significantly reduce communication cost, while being competitive with standard uncompressed techniques on a variety of real tasks.

研究动机与目标

• 通过实现高效的梯度压缩来解决分布式 SGD 中的高通信成本问题。
• 设计一种压缩方案，在标准假设下保证收敛性，与许多启发式量化方法不同。
• 通过可调节的量化级别，实现通信成本与收敛速度之间的可调和权衡。
• 在每轮迭代相对于模型维度的比特数方面，实现渐近最优的通信复杂度。
• 通过实证验证，量化梯度在真实深度学习任务上能保持与全精度 SGD 相当的性能。

提出的方法

• QSGD 在节点之间传输前使用随机量化将梯度向量压缩为低比特表示。
• 它使用一种概率舍入方案将每个梯度分量映射到量化值，以保持梯度的期望值不变。
• 该方法允许用户控制每个梯度分量的比特数，从而在压缩程度与精度损失之间实现权衡。
• 量化方案的设计使得量化梯度的期望值等于原始梯度，从而确保更新无偏。
• 通信成本随模型维度的增加呈亚线性增长，在每轮迭代的比特数方面实现了渐近最优性。
• 该算法在标准随机梯度下降假设下保持收敛保证，包括利普希茨连续性和有界方差。

实验结果

研究问题

• RQ1 是否可以设计一种梯度量化方法，使其在分布式 SGD 中保证收敛，而不同于许多启发式方法？
• RQ2 随机梯度下降所需的理论最小通信成本是多少？是否可以实现？
• RQ3 量化比特率与收敛速度之间的权衡如何影响训练性能？
• RQ4 量化梯度是否能在真实深度学习任务上保持具有竞争力的准确率和收敛速度？
• RQ5 何种最优量化策略能够在通信效率与收敛稳定性之间实现平衡？

主要发现

• QSGD 实现了渐近最优的通信成本，其每轮迭代的比特数随模型维度呈亚线性增长。
• 该方法在标准假设下保证收敛，提供了理论安全性，而许多启发式压缩方法往往失败。
• 实验结果表明，QSGD 在多种真实世界深度学习任务上保持了与全精度 SGD 相当的训练准确率。
• 通过调节每个梯度分量的比特数，QSGD 实现了通信成本与收敛速度之间的可调和权衡。
• 随机量化方案确保了无偏的梯度估计，即使在压缩后仍能保持收敛特性。
• QSGD 显著降低了通信开销，而未牺牲模型性能，使其适用于大规模分布式训练。