[论文解读] Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem

Liu Liu, Ji Liu+2 more|arXiv (Cornell University)|Sep 6, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用 10

一句话总结

该论文提出了一种随机控制的随机梯度（SCSG）方法，用于求解形式为 $\frac{1}{n}\sum_{i=1}^n F_i\left(\frac{1}{n}\sum_{j=1}^n G_j(x)\right)$ 的凸与非凸复合问题，通过方差缩减和随机梯度估计，实现了更优的查询复杂度。该方法在查询复杂度方面优于以往方法，实现了最优或近似最优的收敛速率。

ABSTRACT

In this paper, we consider the convex and non-convex composition problem with the structure $\frac{1}{n}\sum olimits_{i = 1}^n {{F_i}( {G( x )} )}$, where $G( x )=\frac{1}{n}\sum olimits_{j = 1}^n {{G_j}( x )} $ is the inner function, and $F_i(\cdot)$ is the outer function. We explore the variance reduction based method to solve the composition optimization. Due to the fact that when the number of inner function and outer function are large, it is not reasonable to estimate them directly, thus we apply the stochastically controlled stochastic gradient (SCSG) method to estimate the gradient of the composition function and the value of the inner function. The query complexity of our proposed method for the convex and non-convex problem is equal to or better than the current method for the composition problem. Furthermore, we also present the mini-batch version of the proposed method, which has the improved the query complexity with related to the size of the mini-batch.

研究动机与目标

• 解决在复合优化中估计大规模有限和内函数与外函数所带来的高计算成本问题。
• 在由于 $n$ 较大而导致直接梯度估计不可行的随机复合问题中，降低查询复杂度。
• 开发一种方差缩减的随机算法，在确保凸与非凸设置下收敛的同时，保持较低的查询复杂度。
• 将 SCSG 框架扩展至处理具有有界雅可比矩阵和光滑分量的嵌套结构复合函数。
• 推导出理论查询复杂度界，使其优于现有方法如 SCGD 和 SC-SVRG。

提出的方法

• 使用随机控制的随机梯度（SCSG）来估计复合函数的梯度以及内函数 $G(x)$ 的梯度，从而减少对全批量计算的依赖。
• 采用小批量变体以进一步降低查询复杂度，且其性能随小批量大小呈有利扩展。
• 引入一种递归梯度估计器，通过利用历史迭代的控制变量来控制方差。
• 采用两级采样策略：独立采样 $F_i$ 和 $G_j$ 的索引，以降低随机梯度估计中的方差。
• 基于 $F_i$ 的光滑性假设、$G_j$ 的有界雅可比矩阵以及通过引理 1–3 实现的方差控制，推导理论界。
• 设定步长 $\eta = b^{3/5} \min\{1/n^{2/5}, \varepsilon^{2/5}\}$，并通过控制批量大小 $A$、$D$ 和 $K$ 来平衡收敛性与复杂度。

实验结果

研究问题

• RQ1 方差缩减的 SCSG 方法是否能实现优于现有随机复合求解器的查询复杂度？
• RQ2 所提出的方法如何处理在同时估计 $G(x)$ 和 $F(G(x))$ 时产生的非独立同分布梯度偏差？
• RQ3 在最小化查询复杂度的前提下，小批量大小、步长与迭代次数之间的最优权衡是什么？
• RQ4 该方法是否能在非凸设置下实现 $\mathcal{O}(1/\varepsilon^{9/5})$ 的查询复杂度，与或优于先前的界？
• RQ5 与单样本 SCSG 相比，小批量版本是否能提供可证明的查询复杂度改进？

主要发现

• 所提方法在非凸问题中实现了 $\mathcal{O}(\min\{1/\varepsilon^{9/5}, n^{4/5}/\varepsilon\})$ 的查询复杂度，优于 SCGD 和 ASC-PG。
• 在凸情况下，查询复杂度为 $\mathcal{O}\left(\left(\min\{n, 1/(\varepsilon \mu^2)\} + \frac{L_f^2}{\mu^2} \min\{n, 1/\mu^2\}\right) \log(1/\varepsilon)\right)$，与或优于先前结果。
• 小批量版本将查询复杂度降低了 $1/b^{1/5}$ 倍，显示出与小批量大小 $b$ 的有利扩展性。
• 理论分析证实，该方法通过控制变量与有界雅可比矩阵假设的结合，有效控制了梯度方差。
• 在标准假设下，该方法实现了最优收敛速率：$F_i$ 的光滑性、$G_j$ 的有界雅可比矩阵，以及梯度的有限方差。
• 步长 $\eta = b^{3/5} \min\{1/n^{2/5}, \varepsilon^{2/5}\}$ 被证明能最优地平衡收敛性与复杂度。