[论文解读] NUQSGD: Improved Communication Efficiency for Data-parallel SGD via Nonuniform Quantization.

Ali Ramezani-Kebrya, Fartash Faghri+1 more|arXiv (Cornell University)|Aug 16, 2019

Advanced Neural Network Applications参考文献 2被引用 14

一句话总结

本文提出NUQSGD，一种用于数据并行随机梯度下降的非均匀量化方案，可提升分布式训练中的通信效率。通过利用非均匀量化，NUQSGD在理论收敛性保证方面优于QSGD，同时在大规模神经网络上的实际性能与QSGDinf相当。

ABSTRACT

As the size and complexity of models and datasets grow, so does the need for communication-efficient variants of stochastic gradient descent that can be deployed on clusters to perform model fitting in parallel. Alistarh et al. (2017) describe two variants of data-parallel SGD that quantize and encode gradients to lessen communication costs. For the first variant, QSGD, they provide strong theoretical guarantees. For the second variant, which we call QSGDinf, they demonstrate impressive empirical gains for distributed training of large neural networks. Building on their work, we propose an alternative scheme for quantizing gradients and show that it yields stronger theoretical guarantees than exist for QSGD while matching the empirical performance of QSGDinf.

研究动机与目标

• 解决大规模模型和数据集分布式训练中日益严重的通信瓶颈问题。
• 在不牺牲实际性能的前提下，改进现有量化方法（如QSGD和QSGDinf）的理论保证。
• 开发一种在数据并行SGD中平衡通信效率与收敛稳定性的量化方案。
• 为QSGD提供一个理论更可靠的替代方案，具有更强的收敛界，同时与QSGDinf的实际收益保持一致。

提出的方法

• 为数据并行SGD中的梯度向量提出一种非均匀量化策略，为较大的梯度分量分配更多的量化级别。
• 设计一种在固定比特预算下最小化期望量化误差的量化方案，提升每比特的精度。
• 将量化机制集成到标准的数据并行SGD训练流水线中，仅需极少修改。
• 理论分析表明，NUQSGD通过限制梯度估计中期望误差的界，相比QSGD实现了更好的收敛保证。
• 通过大规模神经网络训练工作负载对NUQSGD与QSGD和QSGDinf进行实证评估。
• 该方法采用概率编码方案表示量化后的梯度，降低通信开销，同时保持模型精度。

实验结果

研究问题

• RQ1 与均匀量化相比，非均匀量化策略是否能提升分布式SGD中的理论收敛保证？
• RQ2 在大规模神经网络训练中，非均匀量化是否能保持或超过QSGDinf的实际性能？
• RQ3 在相同的比特预算下，NUQSGD的通信效率与QSGD和QSGDinf相比如何？
• RQ4 NUQSGD是否能在保持QSGDinf实际优势的同时，提供强于QSGD的理论边界？

主要发现

• NUQSGD通过减少量化梯度中期望误差，提供了强于QSGD的理论收敛保证。
• 所提方法在训练大规模神经网络时与QSGDinf的实际性能相当，实现了相近的准确率和收敛速度。
• 与均匀方案相比，非均匀量化在每比特上产生更低的量化误差，从而提升通信效率。
• 理论分析证实，NUQSGD在标准假设下保持收敛性，且其边界比QSGD更紧。
• 实证结果表明，NUQSGD在分布式环境中实现了具有竞争力的训练准确率，同时显著降低了通信成本。
• 该方法有效平衡了理论稳健性与实际性能，在理论上优于QSGD，实践中与QSGDinf持平。