[论文解读] The Convergence of Sparsified Gradient Methods

Dan Alistarh, Torsten Hoefler+4 more|arXiv (Cornell University)|Sep 27, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 13

一句话总结

本文首次为分布式SGD中的TopK梯度稀疏化提供了理论收敛保证，表明通过局部误差补偿按大小选择前K个梯度分量，可在凸与非凸光滑目标下确保收敛。该方法通过基于大小的选择隐式限制了更新延迟，实现高达600倍的通信压缩，同时保持模型精度。

ABSTRACT

Distributed training of massive machine learning models, in particular deep neural networks, via Stochastic Gradient Descent (SGD) is becoming commonplace. Several families of communication-reduction methods, such as quantization, large-batch methods, and gradient sparsification, have been proposed. To date, gradient sparsification methods - where each node sorts gradients by magnitude, and only communicates a subset of the components, accumulating the rest locally - are known to yield some of the largest practical gains. Such methods can reduce the amount of communication per step by up to three orders of magnitude, while preserving model accuracy. Yet, this family of methods currently has no theoretical justification. This is the question we address in this paper. We prove that, under analytic assumptions, sparsifying gradients by magnitude with local error correction provides convergence guarantees, for both convex and non-convex smooth objectives, for data-parallel SGD. The main insight is that sparsification methods implicitly maintain bounds on the maximum impact of stale updates, thanks to selection by magnitude. Our analysis and empirical validation also reveal that these methods do require analytical conditions to converge well, justifying existing heuristics.

研究动机与目标

• 为广泛应用于实践中的梯度稀疏化方法提供理论依据，这些方法目前缺乏正式的收敛保证。
• 分析在凸与非凸光滑目标下，仅通信前K个最大梯度分量的TopK SGD的收敛行为。
• 识别稀疏化方法收敛所需的解析条件，解释为何学习率调节与梯度裁剪等启发式方法是必要的。
• 建立TopK SGD与异步SGD之间的联系，表明基于大小的选择隐式限制了更新延迟。
• 在合理的梯度分布下，推导出稀疏化SGD收敛速率的非平凡上界。

提出的方法

• TopK SGD在每个节点上基于当前模型参数选择梯度中绝对值最大的K个分量，并仅通信这些分量。
• 未通信的梯度分量在本地累积于误差向量中，并在下一次梯度计算前加回梯度中。
• 该方法采用基于上鞅的分析方法，以边界期望向最优解的推进速度，结合二阶矩与Lipschitz条件。
• 在分析假设下证明收敛，包括有界梯度方差与目标函数的光滑性。
• 分析表明，TopK SGD的行为类似于具有隐式、基于大小的更新延迟边界的异步SGD变体。
• 使用全梯度与前K个分量之间范数差距的最坏情况边界，但实证证据表明实际中这些差距通常更小。

实验结果

研究问题

• RQ1 通过TopK选择实现的梯度稀疏化是否能为分布式SGD提供正式的收敛保证？
• RQ2 在非凸设置下，TopK SGD收敛所需的解析条件是什么？
• RQ3 在收敛速率与通信效率方面，TopK SGD与异步SGD及量化SGD相比如何？
• RQ4 为何实践中学习率调节与梯度裁剪等启发式方法能提升TopK方法的收敛性？
• RQ5 经验梯度分布（如正态或偏态分布）在多大程度上影响TopK SGD的理论边界与实际性能？

主要发现

• 在标准分析假设下，包括有界梯度方差与Lipschitz连续性，TopK SGD在凸与非凸光滑目标下均可收敛。
• 最坏情况下，TopK SGD的收敛速率受O(√n)因子限制，当K=√n时，与QSGD等随机量化方法的退化速度相当。
• 当K=cn且c>1/2时，若梯度分布未在各分量间均匀分布，则收敛性能与标准SGD相当。
• 实证结果表明，梯度范数集中在前K个分量中，说明最坏情况下的范数差距边界在实际中往往过于悲观。
• 通过基于大小的选择，该方法隐式限制了更新延迟，使其比缺乏此类边界的异步SGD更稳定。
• 学习率调节与梯度裁剪在理论上是确保收敛所必需的，从而为实践中使用这些方法提供了理论依据。