[论文解读] The Error-Feedback Framework: Better Rates for SGD with Delayed Gradients and Compressed Communication

Sebastian U. Stich, Sai Praneeth Karimireddy|arXiv (Cornell University)|Sep 11, 2019

Stochastic Gradient Optimization Techniques参考文献 65被引用 78

一句话总结

该论文建立了一个误差反馈框架来分析带有延迟和压缩梯度的 SGD，表明延迟主要影响一个高阶项，在噪声下不改变最优随机收敛速率，并将结果推广到带误差补偿的压缩梯度和局部 SGD。

ABSTRACT

We analyze (stochastic) gradient descent (SGD) with delayed updates on smooth quasi-convex and non-convex functions and derive concise, non-asymptotic, convergence rates. We show that the rate of convergence in all cases consists of two terms: (i) a stochastic term which is not affected by the delay, and (ii) a higher order deterministic term which is only linearly slowed down by the delay. Thus, in the presence of noise, the effects of the delay become negligible after a few iterations and the algorithm converges at the same optimal rate as standard SGD. This result extends a line of research that showed similar results in the asymptotic regime or for strongly-convex quadratic functions only. We further show similar results for SGD with more intricate form of delayed gradients -- compressed gradients under error compensation and for local~SGD where multiple workers perform local steps before communicating with each other. In all of these settings, we improve upon the best known rates. These results show that SGD is robust to compressed and/or delayed stochastic gradient updates. This is in particular important for distributed parallel implementations, where asynchronous and communication efficient methods are the key to achieve linear speedups for optimization with multiple devices.

研究动机与目标

• 在光滑的准凸与非凸函数上，激励并分析带有延迟/陈旧更新的 SGD。
• 推导非渐近收敛速率，将噪声驱动项与由延迟影响的确定性项区分开。
• 将分析扩展到带误差补偿的压缩梯度以及局部 SGD。
• 在准凸和非凸设定下给出紧致的迭代复杂度结果。
• 为异步更新与通信高效是关键的分布式优化提供见解。

提出的方法

• 引入带辅助序列和虚拟迭代的误差反馈（EC-SGD）框架，以捕捉延迟和压缩。
• 利用扰动迭代分析和标准光滑性估计，为虚拟迭代推导一步进展界限。
• 将误差分解为偏差和噪声分量，以允许更大的步长并收紧与延迟相关的项。
• 给出强准凸、一般准凸和非凸情况的非渐近迭代复杂度结果。
• 将分析扩展到带误差补偿的梯度压缩以及局部 SGD 的变体。
• 勾勒三部分证明策略：一步进展、通过既定技术得到最终复杂度，以及误差偏差/噪声分裂。

实验结果

研究问题

• RQ1 延迟梯度更新如何影响准凸和非凸目标的 SGD 收敛？
• RQ2 误差反馈框架是否能够给出分离随机项与延迟项的非渐近收敛速率？
• RQ3 在该框架下，带误差补偿的压缩梯度和局部 SGD 是否也具有类似的有利收敛速度？
• RQ4 在延迟或压缩下，强准凸、一般准凸和非凸情形的迭代复杂度是多少？
• RQ5 这些结果与现有的渐近分析或针对二次函数的分析相比如何？

主要发现

• 收敛速度由一个不受延迟影响的随机项和一个被延迟线性放慢的高阶确定性项组成，在噪声下延迟效应几乎可以忽略。
• 该框架扩展到带误差补偿的梯度压缩和局部 SGD，改进了先前的收敛速率。
• 对于强准凸和一般准凸函数，本文推导了带显式延迟依赖的迭代复杂度，显示出接近最优的尺度，最多有对数因子。
• 对于一般光滑非凸函数，该方法给出收敛到驻点的速率，包含显式的延迟和噪声项。
• 在非凸情形下，该分析不需要梯度有界的假设，并且改进了压缩参数上的先前二次依赖结果。
• 他人基于这些技术的后续工作，进一步改进局部 SGD 速率并建立下界。