[论文解读] Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle

Pavel Dvurechensky, Alexander Gasnikov|arXiv (Cornell University)|Nov 11, 2014

Stochastic Gradient Optimization Techniques参考文献 14被引用 12

一句话总结

本文提出了随机中间梯度法（SIGM），用于具有不精确随机预言机的凸复合优化问题，支持非欧几里得设置，并在收敛速度与误差累积之间实现平衡。其平均收敛速率为 $ O\left(\frac{LR^2}{k^p} + \frac{\sigma R}{\sqrt{k}} + k^{p-1}\delta \right) $，在常数因子范围内达到理论下界。

ABSTRACT

In this paper we introduce new methods for convex optimization problems with inexact stochastic oracle. First method is an extension of the intermediate gradient method proposed by Devolder, Glineur and Nesterov for problems with inexact oracle. Our new method can be applied to the problems with composite structure, stochastic inexact oracle and allows using non-Euclidean setup. We prove estimates for mean rate of convergence and probabilities of large deviations from this rate. Also we introduce two modifications of this method for strongly convex problems. For the first modification we prove mean rate of convergence estimates and for the second we prove estimates for large deviations from the mean rate of convergence. All the rates give the complexity estimates for proposed methods which up to multiplicative constant coincide with lower complexity bound for the considered class of convex composite optimization problems with stochastic inexact oracle.

研究动机与目标

• 解决大规模凸复合优化问题中，预言机信息同时存在随机误差与确定性误差的挑战。
• 将中间梯度方法扩展至处理非欧几里得设置下的不精确随机预言机。
• 在一般范数与邻近设置下，为所提方法提供收敛速率估计与大偏差边界。
• 为强凸问题设计专用变体，实现更优的收敛性与偏差控制。
• 实现与所考虑问题类理论下界相匹配的复杂度边界。

提出的方法

• 提出中间梯度方法的随机变体（SIGM），利用 $(\delta, L)$-预言机的随机近似，包含随机噪声 ($\sigma$) 与确定性误差 ($\delta$)。
• 引入使用强凸且连续可微障碍函数 $d(x)$ 的一般邻近设置，以定义 Bregman 散度与范数结构。
• 采用三步迭代格式：(1) 计算随机梯度估计，(2) 使用 Bregman 散度求解邻近子问题，(3) 通过凸组合更新迭代点。
• 引入参数 $p \in [1,2]$ 以平衡收敛速度与误差累积，实现 $\frac{LR^2}{k^p}$ 与 $k^{p-1}\delta$ 之间的自适应权衡。
• 对随机预言机施加轻尾假设，推导误差 $\varphi(y_k) - \varphi^*$ 的高概率大偏差边界。
• 为强凸问题设计基于重启的加速方法（算法 3），实现以高概率 $\mathcal{O}(e^{-k})$ 的收敛速度。

实验结果

研究问题

• RQ1 能否将中间梯度方法扩展至非欧几里得空间中，处理不精确随机预言机，同时保持最优收敛速率？
• RQ2 随机噪声 ($\sigma$)、确定性误差 ($\delta$) 与曲率 ($L$) 之间的相互作用如何影响收敛性与误差累积？
• RQ3 在同时存在随机与确定性预言机误差的情况下，收敛速率与误差累积之间最优权衡为何？
• RQ4 在较弱假设下，能否为随机中间梯度方法的误差推导出高概率大偏差边界？
• RQ5 如何将该方法适配于强凸问题，以实现以高概率的指数收敛？

主要发现

• 随机中间梯度法（SIGM）实现了平均收敛速率 $ O\left(\frac{LR^2}{k^p} + \frac{\sigma R}{\sqrt{k}} + k^{p-1}\delta \right) $，在常数因子范围内达到理论下界。
• 在随机预言机满足轻尾假设的条件下，该方法提供了与平均速率具有相同渐近依赖关系的高概率大偏差边界。
• 对于强凸问题，加速变体（算法 2）在期望下实现指数收敛 $ \mathcal{O}(e^{-k}) $，且复杂度边界与下界匹配。
• 采用重启机制的方法（算法 3）可确保获得 $(\varepsilon, \Lambda)$-解，满足 $ \mathbb{P}(\varphi(\hat{u}) - \varphi^* > \varepsilon) \leq \Lambda $，在强凸设置下实现最优复杂度。
• 该方法通过通用邻近函数与范数支持灵活的几何结构，可在单纯形等结构化域上实现高效计算。
• 该框架通过 $(\delta, L)$-预言机支持非光滑问题，使方法可应用于 LASSO 等具有 Hölder 连续次梯度的复合问题。