[论文解读] Stochastic subgradient method converges at the rate $O(k^{-1/4})$ on weakly convex functions

Damek Davis, Dmitriy Drusvyatskiy|arXiv (Cornell University)|Feb 8, 2018

Sparse and Compressive Sensing Techniques参考文献 21被引用 46

一句话总结

该论文表明，将近端随机子梯度法应用于弱凸目标使 Moreau 包络的梯度以 O(k^{-1/4}) 的速率趋于零，从而在获得近似站点性时的迭代复杂度为 O(ε^{-4})。

ABSTRACT

We prove that the proximal stochastic subgradient method, applied to a weakly convex problem, drives the gradient of the Moreau envelope to zero at the rate $O(k^{-1/4})$. As a consequence, we resolve an open question on the convergence rate of the proximal stochastic gradient method for minimizing the sum of a smooth nonconvex function and a convex proximable function.

研究动机与目标

• 激励与分析优化 φ(x)=g(x)+r(x) 的问题，其中 r 为可近端的凸函数，g 是 ρ-弱凸的。
• 在标准随机 oracle 假设(A1–A3) 下，为近端随机子梯度法提供收敛性保证。
• 通过 Moreau 包络 φ_{λ} 的梯度来表征近站性，λ = 1/(2ρ)。
• 在适当设定下，证明该方法在 O(ε^{-4}) 次迭代内达到 ε-站点性量度。
• 讨论这些结果如何将已知收敛速率扩展到不可微的 g，并在随机估计的方差不必降低的情况下仍然成立。

提出的方法

• 将问题表述为 φ(x)=g(x)+r(x)，其中 r 为封闭的凸函数，具有可计算的近端映射，g 是 ρ-弱凸的。
• 使用近端随机子梯度更新 x_{t+1} = prox_{α_t r}(x_t - α_t G(x_t, ξ_t))，其中 G(x_t, ξ_t) 是 g 的一个无偏子梯度估计。
• 定义 Moreau 包络 φ_λ，并使用梯度 ∇φ_{λ}(x) = (x - prox_{λφ}(x))/λ 来衡量近站性。
• 在假设(A1) 数据独立同分布、(A2) 随机子梯度在 ∂g(x) 内、(A3) G 的方差有界、以及 α_t ∈ (0, 1/ρ] 的条件下证明收敛。
• 推导 E[||∇φ_{1/ârho}(x_{t*})||^2] 关于初始差距、方差和步长的界限；对于 ε-站点性，得到 O(ε^{-4}) 的迭代复杂度。
• 给出常数步长的推论，并讨论在凸/光滑情形下的改进。

实验结果

研究问题

• RQ1 对于弱凸目标，近端随机子梯度法的收敛速率是多少？
• RQ2 是否可以通过 Moreau 包络的梯度来证明近站性，以及 ∥∇φ_{1/(2ρ)}(x)∥ 收敛的速率是多少？
• RQ3 随机 oracle 的方差假设如何影响速率，是否可以容忍非递减方差？
• RQ4 在所提出框架下达到 ε-站点性所需的迭代复杂度是多少？
• RQ5 当 g 是光滑的或 r 是指示/投影项时，结果如何调整？

主要发现

• 近端随机子梯度法以 O(k^{-1/4}) 的速率将 Moreau 包络的梯度推至零。
• 在标准假设下，方法给出 E[∥∇φ_{1/(2ρ)}(x_{t*})∥^2] ≤ C/(√{T+1})，并给出相应常数，因此在 O(ε^{-4}) 次迭代内达到 ε-站点性。
• 当步长常数 α 近似为 1/√(T+1) 时，界限为 O( (φ_{1/(2ρ)}(x0) - min φ) + ρ L^2 γ^2 ) / (γ √(T+1))。
• 若 g 是凸的，文中概述通过多阶段或正则化变体可在某些情形下实现更快的速率。
• 在有界方差的光滑情形下，∥∇φ_{1/(2ρ)}(x_{t*})∥^2 同样有界，并具有类似的 ε^{-4} 依赖及额外的 σ^2 项。