[论文解读] Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization

Huizhuo Yuan, Xiangru Lian+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 4

一句话总结

本文提出 SARAH-Compositional，一种用于平滑非凸复合优化的新型随机递归方差缩减算法。通过将 SARAH 框架扩展至复合目标函数，该方法在有限求和情形下实现了最优的 IFO 复杂度界 $\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$，在在线情形下实现了 $\mathcal{O}(\varepsilon^{-3})$，在投资组合管理、强化学习和 SNE 任务中，理论与实践表现均优于现有方法。

ABSTRACT

Stochastic compositional optimization arises in many important machine learning tasks such as value function evaluation in reinforcement learning and portfolio management. The objective function is the composition of two expectations of stochastic functions, and is more challenging to optimize than vanilla stochastic optimization problems. In this paper, we investigate the stochastic compositional optimization in the general smooth non-convex setting. We employ a recently developed idea of extit{Stochastic Recursive Gradient Descent} to design a novel algorithm named SARAH-Compositional, and prove a sharp Incremental First-order Oracle (IFO) complexity upper bound for stochastic compositional optimization: $\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$ in the finite-sum case and $\mathcal{O}(\varepsilon^{-3})$ in the online case. Such a complexity is known to be the best one among IFO complexity results for non-convex stochastic compositional optimization, and is believed to be optimal. Our experiments validate the theoretical performance of our algorithm.

研究动机与目标

• 解决平滑非凸复合目标函数的优化挑战，其中目标函数为两个随机函数期望的复合形式。
• 开发一种方差缩减算法，实现比现有方法更快的收敛速度和更优的理论复杂度界，适用于随机复合优化。
• 将类似 SARAH 的递归梯度方法的成功经验拓展至更复杂的复合设置，实现在真实机器学习应用中的高效优化。
• 通过在风险规避投资组合管理、强化学习中的价值函数评估以及随机邻域嵌入（SNE）任务上的实证评估，验证理论改进的有效性。

提出的方法

• 所提出的 SARAH-Compositional 算法利用递归梯度更新，降低复合目标函数 $\Phi(x) = f(g(x))$ 的完整梯度估计中的方差。
• 它维护对内层函数 $g(x)$ 和外层函数 $f(g(x))$ 梯度的递归估计，并在每次迭代中通过控制变量机制高效更新。
• 该算法在双层随机设置下运行：独立采样内层函数 $g_w(x)$ 和外层函数 $f_v(y)$，并使用小批量近似计算梯度估计。
• 它利用复合目标函数的结构，计算完整梯度的递归更新，从而减少所需的随机梯度评估次数。
• 该方法适用于有限求和与在线两种情形，针对每种情形分别进行收敛性分析。
• 理论分析表明，该算法在非凸复合优化中实现了目前已知最优的 IFO 复杂度。

实验结果

研究问题

• RQ1 标准随机优化中的递归方差缩减技术能否被适配到更复杂的复合目标设置中？
• RQ2 非凸随机复合优化可达到的最优增量一阶 oracle（IFO）复杂度是多少？
• RQ3 所提出的 SARAH-Compositional 算法在收敛速度和稳定性方面是否优于现有方法，如 SCGD、Acc-SCGD、ASC-PG 和 VRSC？
• RQ4 该算法在投资组合管理、强化学习和降维等多样化真实应用场景中的表现如何？

主要发现

• 在有限求和情形下，SARAH-Compositional 实现了 $\mathcal{O}((n+m)^{1/2}\varepsilon^{-2})$ 的 IFO 复杂度，是现有方法中最佳已知结果。
• 在在线设置下，该算法实现了 $\mathcal{O}(\varepsilon^{-3})$ 的 IFO 复杂度，与该类问题的最优已知界一致。
• 在风险规避投资组合管理的数值实验中，SARAH-Compositional 比竞争算法收敛更快且更稳定。
• 在强化学习任务中，SARAH-Compositional 展现出比 VRSC 更快的收敛速度和更低的梯度范数，尤其在小批量和大内层循环数条件下表现更优。
• 在 MNIST 数据集上的 SNE 任务中，SARAH-Compositional 显著优于 VRSC，表现出更好的稳定性以及梯度范数更快的下降速度，且在每个内层循环中梯度范数持续下降。
• 该算法在所有评估任务中均持续优于基线方法，证实了在复合优化中递归方差缩减的理论优势。