[论文解读] On the Convergence of SGD with Biased Gradients

Ahmad Ajalloeian, Sebastian U. Stich|arXiv (Cornell University)|Jul 31, 2020

Stochastic Gradient Optimization Techniques参考文献 44被引用 16

一句话总结

本文针对带有偏差梯度预言机的随机梯度下降（SGD）提供了统一的收敛性分析，表明当偏差相对于梯度范数有界时，可实现收敛至最优解的邻域。在Polyak-Łojasiewicz条件下，该文建立了改进的收敛速率，并量化了偏差对可达到精度和收敛速度的影响，涵盖梯度压缩和零阶优化等应用。

ABSTRACT

We analyze the complexity of biased stochastic gradient methods (SGD), where individual updates are corrupted by deterministic, i.e. biased error terms. We derive convergence results for smooth (non-convex) functions and give improved rates under the Polyak-Lojasiewicz condition. We quantify how the magnitude of the bias impacts the attainable accuracy and the convergence rates (sometimes leading to divergence). Our framework covers many applications where either only biased gradient updates are available, or preferred, over unbiased ones for performance reasons. For instance, in the domain of distributed learning, biased gradient compression techniques such as top-k compression have been proposed as a tool to alleviate the communication bottleneck and in derivative-free optimization, only biased gradient estimators can be queried. We discuss a few guiding examples that show the broad applicability of our analysis.

研究动机与目标

• 统一分析各类应用（如梯度压缩和零阶优化）中的偏差SGD方法。
• 识别偏差SGD收敛至真实最优解与收敛至其邻域的条件。
• 量化偏差大小对非凸优化中收敛速率和最终精度的影响。
• 为光滑非凸函数在Polyak-Łojasiewicz条件下提供改进的收敛速率。
• 将分散的偏差SGD分析整合为一个统一且可推广的理论框架。

提出的方法

• 建模带有偏差梯度预言机的SGD：$\mathbf{g}_t = \nabla f(\mathbf{x}_t) + \mathbf{b}_t + \mathbf{n}_t$，其中$\mathbf{b}_t$为确定性偏差，$\mathbf{n}_t$为零均值噪声。
• 分析光滑非凸函数下的收敛性，并在Polyak-Łojasiewicz（PŁ）条件下推导收敛速率。
• 引入相对偏差界：仅当$\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$时，才能收敛至精确最优解。
• 推导依赖于偏差大小$\zeta^2$和噪声方差$\sigma^2$的收敛速率，表明误差下限与$\sigma^2 + \zeta^2$成正比。
• 将该框架应用于具体实例：top-$k$和random-$k$梯度压缩，以及带平滑的零阶优化。
• 结合理论分析与合成数据及深度学习基准（如CIFAR-10上的ResNet18）的实证验证，以确认预测结果。

实验结果

研究问题

• RQ1 在何种条件下，带有偏差梯度的SGD会收敛至真实最优解而非其邻域？
• RQ2 偏差大小如何影响非凸优化中收敛速率和最终可达到的精度？
• RQ3 与标准假设相比，能否在Polyak-Łojasiewicz条件下改进偏差SGD的收敛速率？
• RQ4 具体偏差梯度方法（如top-$k$压缩或零阶估计）在所提出的框架下表现如何？
• RQ5 在实际实现中，噪声方差$\sigma^2$、偏差$\zeta^2$与最终误差下限之间的关系是什么？

主要发现

• 仅当偏差相对于梯度范数有界时，即$\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$，带有偏差梯度的SGD才能收敛至真实最优解。
• 当该相对偏差条件被违反时，SGD收敛至解的邻域，误差下限由$\sigma^2 + \zeta^2$决定。
• 在Polyak-Łojasiewicz条件下，本文推导出比标准SGD界更紧的改进收敛速率。
• 对于top-$k$和random-$k$梯度压缩，随着$k$减小，收敛速率变慢，且相同$k$下top-$k$优于random-$k$。
• 在零阶优化中，误差下限与$\mathcal{O}(\tau^2)$成正比，其中$\tau$为平滑参数，与理论预测一致。
• 在ResNet18训练中的实证结果表明，top-$k$压缩达到与全精度SGD相同的最终误差下限，但收敛速率更慢；而random-$k$受压缩影响更严重。