[论文解读] Stochastic Compositional Gradient Descent: Algorithms for Minimizing Compositions of Expected-Value Functions

Mengdi Wang, Ethan X. Fang+1 more|arXiv (Cornell University)|Nov 14, 2014

Stochastic Gradient Optimization Techniques参考文献 21被引用 6

一句话总结

本文提出随机复合梯度下降（SCGD），一种新型算法，用于最小化期望值函数的复合形式——即形式为 min_x E_v[f_v(E_w[g_w(x)])] 的问题。SCGD 使用来自内层和外层函数的噪声梯度样本，并引入辅助变量以追踪 E_w[g_w(x)]，实现了对最优解的几乎必然收敛。在采样约束下，该算法在一般凸问题中达到 O(k^{-1/4}) 的收敛速率，在强凸问题中达到 O(k^{-2/3})；其加速变体分别实现 O(k^{-2/7}) 和 O(k^{-4/5}) 的收敛速率。

ABSTRACT

Classical stochastic gradient methods are well suited for minimizing expected-value objective functions. However, they do not apply to the minimization of a nonlinear function involving expected values or a composition of two expected-value functions, i.e., problems of the form $\min_x \mathbf{E}_v [f_v\big(\mathbf{E}_w [g_w(x)]\big)]$. In order to solve this stochastic composition problem, we propose a class of stochastic compositional gradient descent (SCGD) algorithms that can be viewed as stochastic versions of quasi-gradient method. SCGD update the solutions based on noisy sample gradients of $f_v,g_{w}$ and use an auxiliary variable to track the unknown quantity $\mathbf{E}_w[g_w(x)]$. We prove that the SCGD converge almost surely to an optimal solution for convex optimization problems, as long as such a solution exists. The convergence involves the interplay of two iterations with different time scales. For nonsmooth convex problems, the SCGD achieve a convergence rate of $O(k^{-1/4})$ in the general case and $O(k^{-2/3})$ in the strongly convex case, after taking $k$ samples. For smooth convex problems, the SCGD can be accelerated to converge at a rate of $O(k^{-2/7})$ in the general case and $O(k^{-4/5})$ in the strongly convex case. For nonconvex problems, we prove that any limit point generated by SCGD is a stationary point, for which we also provide the convergence rate analysis. Indeed, the stochastic setting where one wants to optimize compositions of expected-value functions is very common in practice. The proposed SCGD methods find wide applications in learning, estimation, dynamic programming, etc.

研究动机与目标

• 为解决现有随机优化方法在处理期望值函数复合问题（如 E_v[f_v(E_w[g_w(x)])]）时的缺失，此类问题中经典 SGD 因采样概率的非线性而失效。
• 开发一种基于部分信息的随机一阶方法，仅通过采样 Oracle 获取内层与外层函数的噪声梯度样本。
• 为随机复合问题的凸与非凸变体建立几乎必然收敛性及收敛速率边界。
• 通过在动态规划、风险规避优化与随机最短路径问题中的应用，展示方法的实际适用性。

提出的方法

• SCGD 采用双时间尺度更新规则：一个用于主变量 x，另一个用于追踪 E_w[g_w(x)] 的辅助变量。
• 通过采样 Oracle 获取 ∇f_v(y) 与 ∇g_w(x) 的无偏噪声样本，以估计外层与内层函数的梯度。
• 该算法采用随机逼近框架，将 f ∘ g 视为复合函数，其中 f 作用于 g 的期望值。
• 对于非光滑问题，SCGD 使用次梯度近似；对于光滑问题，则利用梯度信息以加速收敛。
• 引入外推技术的加速方案，使一般凸情形下的收敛速率提升至 O(k^{-2/7})，强凸情形下为 O(k^{-4/5})。
• 通过平滑近似（如 h_ϵ(y1,y2)）处理非可微操作（如 min、max），以支持基于梯度的优化。

实验结果

研究问题

• RQ1 能否将随机梯度方法扩展至处理因采样概率非线性而使经典 SGD 失效的期望值函数复合问题？
• RQ2 在部分信息与噪声梯度访问条件下，随机复合优化的收敛性保证为何？
• RQ3 随机复合问题在凸与非凸情形下的最优收敛速率为何？
• RQ4 加速技术如何被适配以提升光滑与强凸情形下的收敛速率？
• RQ5 SCGD 能否在动态规划与风险规避优化等实际问题中实现理论保证下的应用？

主要发现

• 在标准假设下，SCGD 对凸随机复合问题几乎必然收敛至最优解。
• 对于非光滑凸问题，SCGD 在一般情形下达到 O(k^{-1/4}) 的收敛速率，在强凸情形下为 O(k^{-2/3})，基于 k 次采样。
• 对于光滑凸问题，加速版 SCGD 在一般情形下收敛速率为 O(k^{-2/7})，在强凸情形下为 O(k^{-4/5})。
• 对于非凸问题，SCGD 的每个极限点均为驻点，且提供了收敛速率分析。
• 在随机最短路径问题上的数值实验验证了 SCGD 的收敛性，且加速版 SCGD 在实践中优于基础版本。
• 该方法在动态规划问题中成功恢复最优决策规则，与值迭代结果一致，并可在学习过程中在线估计 Q 值。