[论文解读] On Biased Stochastic Gradient Estimation

Derek Driggs, Jingwei Liang+1 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用 8

一句话总结

本文提出了一套统一的分析框架，用于研究凸、强凸和非凸复合优化中带偏倚的随机梯度方法。提出了一种新型算法 SARGE，其在非凸有限和问题中实现了最优的 oracle 复杂度下界，且每轮迭代的随机梯度调用次数少于 SVRG 和 SARAH。同时，首次在凸设置下将近端方法扩展至支持如 SAG 和 SARAH 等带偏倚估计器。

ABSTRACT

We present a uniform analysis of biased stochastic gradient methods for minimizing convex, strongly convex, and non-convex composite objectives, and identify settings where bias is useful in stochastic gradient estimation. The framework we present allows us to extend proximal support to biased algorithms, including SAG and SARAH, for the first time in the convex setting. We also use our framework to develop a new algorithm, Stochastic Average Recursive GradiEnt (SARGE), that achieves the oracle complexity lower-bound for non-convex, finite-sum objectives and requires strictly fewer calls to a stochastic gradient oracle per iteration than SVRG and SARAH. We support our theoretical results with numerical experiments that demonstrate the benefits of certain biased gradient estimators.

研究动机与目标

• 为凸、强凸和非凸复合目标下的带偏倚随机梯度方法提供统一的收敛性分析。
• 识别出在何种条件下梯度估计中的偏倚对优化有益而非有害。
• 首次在凸设置下将近端方法——此前仅限于无偏估计器——扩展至支持如 SAG 和 SARAH 等带偏倚算法。
• 设计一种新算法 SARGE，使其在非凸有限和问题中达到 oracle 复杂度下界。
• 通过理论分析与实验验证表明，某些带偏倚梯度估计器在实践中可优于无偏对应方法。

提出的方法

• 提出一种通用框架，通过新颖的稳定性与偏倚分解技术，分析带偏倚随机梯度估计器。
• 提出 SARGE，一种结合 SAGA 与递归梯度更新的随机平均递归梯度估计器，并引入偏置校正机制。
• 采用递归方差分解方法，以界定向量梯度估计器的期望平方误差，从而在存在偏倚的情况下实现收敛性分析。
• 采用李雅普诺夫函数方法，引入三组序列：一组用于梯度误差，一组用于迭代点的移动，一组用于累积梯度变化。
• 通过使用杨不等式和几何衰减性质，界定向量偏倚与方差项，推导出收敛速率。
• 将该框架应用于将近端方法扩展至带偏倚估计器，通过证明在广义偏倚条件下收敛性来实现。

实验结果

研究问题

• RQ1 在何种设置下，随机梯度估计中的偏倚对收敛性有益而非有害？
• RQ2 能否在凸设置下将近端方法扩展至支持如 SAG 和 SARAH 等带偏倚梯度估计器？
• RQ3 是否可能设计一种新型带偏倚随机梯度方法，使其在非凸有限和问题中达到 oracle 复杂度下界？
• RQ4 在非凸设置下，SARGE、SVRG 和 SARAH 每轮迭代的随机梯度 oracle 调用次数如何比较？
• RQ5 在复合目标结构下，何种理论条件可确保带偏倚随机梯度方法的收敛性？

主要发现

• SARGE 在非凸有限和问题中实现了最优的 oracle 复杂度下界，达到理论上的最佳可能速率。
• SARGE 每轮迭代所需的随机梯度 oracle 调用次数严格少于 SVRG 和 SARAH，显著提升了实际效率。
• 本文首次建立了在凸设置下，近端方法与 SAG 和 SARAH 等带偏倚估计器结合的收敛性分析。
• 该框架证明，当偏倚得到适当控制时，其可成为有益因素，尤其在具有记忆的方差缩减方法中。
• 数值实验表明，某些带偏倚估计器（包括 SARGE）在收敛速度与稳定性方面优于无偏对应方法。
• 分析表明，在较弱条件下，SARGE 梯度估计器的期望平方误差呈几何衰减，从而支持快速收敛。