[论文解读] The Complexity of Making the Gradient Small in Stochastic Convex Optimization

Dylan J. Foster, Ayush Sekhari+4 more|arXiv (Cornell University)|Feb 13, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 16

一句话总结

本文在随机凸优化中建立了寻找 $\epsilon$-平稳点的 oracle 复杂度的近乎紧致上下界，区分了局部随机 oracle 模型与全局统计学习模型。研究揭示，在每种模型中，光滑性对复杂度的影响不同——在全局学习中为对数依赖，而在局部 oracle 中为多项式依赖，凸显了复杂度之间的指数级差异，并挑战了光滑性对于寻找平稳点是必要条件的常识性观点。

ABSTRACT

We give nearly matching upper and lower bounds on the oracle complexity of finding $ε$-stationary points ($\| abla F(x) \| \leqε$) in stochastic convex optimization. We jointly analyze the oracle complexity in both the local stochastic oracle model and the global oracle (or, statistical learning) model. This allows us to decompose the complexity of finding near-stationary points into optimization complexity and sample complexity, and reveals some surprising differences between the complexity of stochastic optimization versus learning. Notably, we show that in the global oracle/statistical learning model, only logarithmic dependence on smoothness is required to find a near-stationary point, whereas polynomial dependence on smoothness is necessary in the local stochastic oracle model. In other words, the separation in complexity between the two models can be exponential, and that the folklore understanding that smoothness is required to find stationary points is only weakly true for statistical learning. Our upper bounds are based on extensions of a recent "recursive regularization" technique proposed by Allen-Zhu (2018). We show how to extend the technique to achieve near-optimal rates, and in particular show how to leverage the extra information available in the global oracle model. Our algorithm for the global model can be implemented efficiently through finite sum methods, and suggests an interesting new computational-statistical tradeoff.

研究动机与目标

• 为填补在随机凸优化中寻找 $\epsilon$-平稳点的 oracle 复杂度理解上的空白。
• 将复杂度分解为优化（局部 oracle）与样本（全局 oracle）两部分。
• 澄清在随机设置下，光滑性是否本质上是寻找近似平稳点所必需的。
• 为局部随机 oracle 与全局统计学习 oracle 模型建立近乎紧致的上下界。
• 研究基于新算法框架揭示的计算-统计权衡。

提出的方法

• 提出一种递归正则化技术，扩展自 Allen-Zhu (2018)，以在随机凸优化中实现近最优率。
• 引入从近似平稳点问题到噪声二分查找（NBS）问题的约化，以推导下界。
• 构造一个具有 $H$-Lipschitz 梯度和有界方差 $\sigma^2$ 的凸函数，使得梯度仅在对应于 NBS 解的狭窄区间内较小。
• 利用构造函数的期望导数，确保仅当 $x$ 属于包含真实中位数 $j^*$ 的区间时，有 $|F'(x)| \leq \epsilon$。
• 通过最多使用 NBS 矩阵中的两个条目来模拟局部随机 oracle 查询，从而实现从优化到 NBS 的约化，且查询开销极小。
• 应用 NBS 的已知下界，推导出寻找 $\epsilon$-平稳点所需 oracle 调用次数的紧致下界。

实验结果

研究问题

• RQ1 在局部随机 oracle 与全局统计学习 oracle 模型下，寻找 $\epsilon$-平稳点的最优 oracle 复杂度是多少？
• RQ2 局部随机 oracle 模型与全局 oracle 模型中，对光滑性 $H$ 的依赖有何不同？
• RQ3 在统计学习背景下，光滑性对于寻找平稳点是必要的这一常识性观点是否准确？
• RQ4 由于能够访问聚合数据，全局 oracle 模型是否能显著优于局部 oracle 模型？
• RQ5 基于递归正则化的新算法框架揭示了怎样的计算-统计权衡？

主要发现

• 寻找 $\epsilon$-平稳点的局部随机 oracle 复杂度为 $\tilde{\Omega}\left(\sqrt{\frac{HR}{\epsilon}} + \frac{\sigma^2}{\epsilon^2}\right)$，与上界仅在对数因子内匹配。
• 全局 oracle（统计学习）复杂度为 $\tilde{\Omega}\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$，对光滑性 $H$ 仅有对数依赖。
• 相比之下，局部随机 oracle 模型对 $H$ 有多项式依赖，导致两种模型之间复杂度存在指数级差异。
• 全局模型的下界通过约化到噪声二分查找（NBS）问题推导得出，表明 $\Omega\left(\frac{\sigma^2}{\epsilon^2}\log\left(\frac{HR}{\epsilon}\right)\right)$ 个样本是必需的。
• 全局模型的算法可使用有限和方法高效实现，表明存在一种新的计算-统计权衡。
• 结果表明，在统计学习中，光滑性对于寻找平稳点的要求仅是弱成立的，因为对 $H$ 的对数依赖已足够。