[论文解读] Stochastic Distributed Learning with Gradient Quantization and Variance Reduction

Samuel Horváth, Dmitry Kovalev+3 more|arXiv (Cornell University)|Apr 10, 2019

Stochastic Gradient Optimization Techniques参考文献 56被引用 81

一句话总结

本文开发了 DIANA 型分布式优化算法，能够实现任意无偏梯度量化，并引入方差化简变体，即使在量化通信的情况下也可实现线性收敛到任意精度。它在强凸、凸、非凸场景下提供理论保证，并通过实验验证改进。

ABSTRACT

We consider distributed optimization where the objective function is spread among different devices, each sending incremental model updates to a central server. To alleviate the communication bottleneck, recent work proposed various schemes to compress (e.g.\ quantize or sparsify) the gradients, thereby introducing additional variance $ω\geq 1$ that might slow down convergence. For strongly convex functions with condition number $κ$ distributed among $n$ machines, we (i) give a scheme that converges in $\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$ steps to a neighborhood of the optimal solution. For objective functions with a finite-sum structure, each worker having less than $m$ components, we (ii) present novel variance reduced schemes that converge in $\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$ steps to arbitrary accuracy $ε> 0$. These are the first methods that achieve linear convergence for arbitrary quantized updates. We also (iii) give analysis for the weakly convex and non-convex cases and (iv) verify in experiments that our novel variance reduced schemes are more efficient than the baselines.

研究动机与目标

• 通过压缩梯度更新来解决分布式优化中的通信瓶颈，同时不牺牲收敛性。
• 将梯度量化扩展到一般的无偏设置，并给出可证明的收敛界限。
• 引入方差减小的量化分布式算法，在凸性和强凸性条件下收敛到最优解（不仅仅是一个邻域）。
• 提供对强凸、凸、非凸场景的理论分析。
• 通过实验将所提出的方法与基线进行对比，以展示通信效率和性能。

提出的方法

• 采用 DIANA 框架，结合任意 omega-量化算子在压缩梯度更新的同时保持无偏性。
• 在工作节点使用本地累加器 h_i^k，并通过量化梯度差来更新它们以降低方差。
• 在合适的步长和 Lyapunov 函数下，证明在 omega-量化下的线性收敛并推导迭代界。
• 扩展到基于 SVRG、SAGA 和 L-SVRG 的方差减小方案（VR-DIANA），使用量化更新和每个工作者的梯度表或阶段梯度。
• 提供三种变体（基于 SVRG、基于 SAGA、基于 L-SVRG）在强凸时实现线性收敛，在凸/非凸时达到 O(1/k)，并量化通信节省。
• 讨论并建模不同的量化算子（随机 dithering、稀疏化、分块量化）及其对 omega 和收敛的影响。

实验结果

研究问题

• RQ1 是否可以将任意无偏梯度量化集成到分布式优化中而不牺牲收敛性保证？
• RQ2 方差减小的量化分布式方法是否在强凸、凸、非凸问题上实现到最优解的线性收敛？
• RQ3 在实践中，量化参数 omega 如何影响收敛速度和通信成本？
• RQ4 在有限和无限模型下，VR-DIANA 变体在迭代复杂性与通信节省之间的比较权衡如何？
• RQ5 经验结果是否支持量化和方差减少相对于基线在真实数据集上的理论收益？

主要发现

• 在适当步长下，采用任意 omega-量化的 DIANA 对强凸问题实现最优解的线性收敛。
• 方差减小的量化方案（VR-DIANA）以依赖于 κ、omega、n、m 的速率收敛到任意精度，当 omega 控制良好时可达到非量化速率。
• 在有限和求和设置中，VR-DIANA 变体在强凸时达到线性收敛，在凸/非凸时达到 O(1/k)，并通过量化减少通信成本。
• 辅助变量 h_i^k 和梯度差量化使得在梯度被压缩时仍能实现有效的方差减小。
• 实验表明 VR-DIANA 变体在迭代次数上与基线相当，同时显著降低总通信，尤其在通信成为瓶颈时。
• 该工作提供了关于选择量化方案的具体指南（例如 dithering、稀疏化、分块量化），以在收敛性和通信之间取得平衡。