[论文解读] Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization

Huizhuo Yuan, Wenqing Hu|arXiv (Cornell University)|Jun 1, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 8

一句话总结

该论文提出 STORM-Compositional，一种新颖的单循环随机优化算法，用于求解非凸复合问题 $\min_x f(g(x))$，其中 $f$ 和 $g$ 均为随机函数的期望。通过在递归方差缩减的复合梯度更新中引入动量，并采用指数加权移动平均机制，STORM-Compositional 实现了 $\mathcal{O}(\varepsilon^{-3})$ 的增量一阶预言机（IFO）复杂度，达到最优已知上界，同时消除了对批量大小调优和检查点梯度存储的需求。

ABSTRACT

We propose a novel stochastic optimization algorithm called STOchastic Recursive Momentum for Compositional (STORM-Compositional) optimization that minimizes the composition of expectations of two stochastic functions, the latter being an optimization problem arising in various important machine learning applications. By introducing the momentum term in the compositional gradient updates, STORM-Compositional operates the stochastic recursive variance-reduced compositional gradients in an exponential-moving average way. This leads to an $O(\varepsilon^{-3})$ complexity upper bound for STORM-Compositional, that matches the best known complexity bounds in previously announced compositional optimization algorithms. At the same time, STORM-Compositional is a single loop algorithm that avoids the typical alternative tuning between large and small batch sizes, as well as recording of checkpoint gradients, that persist in variance-reduced stochastic gradient methods. This allows considerably simpler parameter tuning in numerical experiments, which demonstrates the superiority of STORM-Compositional over other stochastic compositional optimization algorithms.

研究动机与目标

• 解决现有方差缩减随机复合优化算法中因交替使用大、小批量而导致的高参数敏感性问题。
• 消除对检查点梯度存储的需求，这是现有方差缩减方法（如 SARAH-C）中的常见负担。
• 设计一种单循环算法，在不损失收敛效率的前提下，保持最优的 $\mathcal{O}(\varepsilon^{-3})$ IFO 复杂度。
• 通过基于动量的递归梯度更新机制，简化超参数调优，提升实际可用性。
• 在真实问题（如随机邻域嵌入和投资组合管理）上展示优越的实验性能。

提出的方法

• 提出一种基于动量的递归梯度更新机制，以指数加权移动平均方式运行，用于降低复合梯度的方差。
• 通过 $g$、$\partial g$ 和 $\nabla f$ 的随机估计器构造复合梯度估计器 $\widehat{\nabla \Phi}(x) = (\widehat{\partial g})^T \widehat{\nabla f}(\widehat{g})$。
• 将 STORM（随机递归动量）框架应用于复合设置，用动量驱动的递归更新替代标准方差缩减。
• 采用单循环结构，避免在大、小批量之间交替，简化实现与调优。
• 集成自适应动量项，实现无需存储历史检查点的递归梯度估计更新。
• 以参数 $\eta$（步长）、$\varepsilon$（精度）、$S_{\cdot}$（动量记忆大小）、$B_{\cdot}$（批量大小）和 $a_{\cdot}$（动量系数）定义算法，实验中均设为固定值。

实验结果

研究问题

• RQ1 能否设计一种单循环随机复合优化算法，在不交替使用大、小批量的情况下，实现最优的 $\mathcal{O}(\varepsilon^{-3})$ IFO 复杂度？
• RQ2 在复合优化中，将动量引入递归梯度更新是否能带来更好的收敛性并降低参数敏感性？
• RQ3 STORM-Compositional 算法是否能在收敛速度和超参数选择鲁棒性方面优于现有方法（如 SARAH-C、VRSC-PG 和 SCGD）？
• RQ4 在方差缩减复合优化中，省略检查点梯度存储对性能与稳定性有何影响？
• RQ5 基于动量的递归更新机制在非凸复合问题（如投资组合管理与随机邻域嵌入）中，能在多大程度上提升实际收敛性能？

主要发现

• STORM-Compositional 实现了 $\mathcal{O}(\varepsilon^{-3})$ 的 IFO 复杂度上界，与 SARAH-C 的最优理论上界一致。
• 该算法为单循环方法，避免了在大、小批量之间交替，简化了超参数调优。
• STORM-Compositional 消除了对存储检查点梯度的需求，这是方差缩减方法中的关键实际负担。
• 在随机邻域嵌入的数值实验中，即使仅进行最少的超参数调优，STORM-Compositional 仍优于 SARAH-C、VRSC-PG、SCGD 和 ASC-PG。
• 在足够迭代次数后，该算法在目标函数差距 $\Phi(x) - \Phi^*$ 和梯度范数方面均表现出更快的收敛速度。
• 实验优势归因于动量驱动的递归梯度更新机制，该机制在不增加额外内存或调优开销的前提下，稳定了优化过程。