[论文解读] On Stochastic Moving-Average Estimators for Non-Convex Optimization.

Zhishuai Guo, Yi Xu+3 more|arXiv (Cornell University)|Apr 30, 2021

Stochastic Gradient Optimization Techniques参考文献 47被引用 11

一句话总结

本文提出了一种用于非凸优化的随机移动平均估计器（SEMA）框架，仅依赖于一个通用的无偏随机预言机。该框架建立了具有递增动量的Adam风格方法的收敛性，为极小极大问题和双层优化问题提出了单循环方法并改进了预言机复杂度，且在所有设置下证明了方差衰减特性。

ABSTRACT

In this paper, we demonstrate the power of a widely used stochastic estimator based on moving average (SEMA) on a range of stochastic non-convex optimization problems, which only requires {\bf a general unbiased stochastic oracle}. We analyze various stochastic methods (existing or newly proposed) based on the {\bf variance recursion property} of SEMA for three families of non-convex optimization, namely standard stochastic non-convex minimization, stochastic non-convex strongly-concave min-max optimization, and stochastic bilevel optimization. Our contributions include: (i) for standard stochastic non-convex minimization, we present a simple and intuitive proof of convergence for a family Adam-style methods (including Adam) with an increasing or large momentum parameter for the first-order moment, which gives an alternative yet more natural way to guarantee Adam converge; (ii) for stochastic non-convex strongly-concave min-max optimization, we present a single-loop stochastic gradient descent ascent method based on the moving average estimators and establish its oracle complexity of $O(1/\epsilon^4)$ without using a large mini-batch size, addressing a gap in the literature; (iii) for stochastic bilevel optimization, we present a single-loop stochastic method based on the moving average estimators and establish its oracle complexity of $\widetilde O(1/\epsilon^4)$ without computing the inverse or SVD of the Hessian matrix, improving state-of-the-art results. For all these problems, we also establish a variance diminishing result for the used stochastic gradient estimators.

研究动机与目标

• 开发一种统一框架，用于分析使用通用无偏随机预言机的随机非凸优化。
• 为非凸设置下具有递增动量的Adam风格方法提供新的收敛性证明。
• 填补随机非凸强凹极小极大和双层优化问题中预言机复杂度的空白。
• 避免在双层优化中依赖大小批量或Hessian逆矩阵计算。
• 在所有三类问题中建立随机梯度估计器的方差衰减特性。

提出的方法

• 本文采用随机移动平均估计器（SEMA）的方差递推性质作为核心分析工具。
• 设计了一种基于SEMA的单循环随机梯度下降-上升方法，用于非凸强凹极小极大问题。
• 在双层优化中，提出一种避免计算Hessian逆矩阵或执行SVD的单循环方法。
• 通过在一阶矩估计中使用递增或较大的参数来引入动量，以确保收敛性。
• 通过分析移动平均梯度估计器的方差衰减行为来建立收敛性。
• 理论分析基于非凸优化的标准假设下的预言机复杂度界。

实验结果

研究问题

• RQ1 具有递增动量的Adam风格方法在非凸设置下是否能通过更简单、更直观的证明实现收敛？
• RQ2 是否能通过单循环方法在不使用大批次的情况下实现随机非凸强凹极小极大问题的最优预言机复杂度？
• RQ3 是否能通过单循环方法解决双层优化问题，而无需计算Hessian逆矩阵或SVD？
• RQ4 SEMA估计器在不同非凸优化族中是否表现出方差衰减行为？
• RQ5 这三类随机非凸问题的最优预言机复杂度下限是什么？

主要发现

• 为具有递增动量的非凸优化中的Adam风格方法建立了新的、直观的收敛性证明。
• 所提出的用于非凸强凹极小极大问题的单循环方法在不依赖大批次的情况下实现了$O(1/\epsilon^4)$的预言机复杂度。
• 对于随机双层优化，该方法在不计算Hessian逆矩阵或SVD的情况下实现了近似最优的预言机复杂度$\widetilde{O}(1/\epsilon^4)$。
• 本文证明了在所有三类问题家族中所用随机梯度估计器的方差衰减特性。
• 结果在极小极大和双层优化设置下均优于当前最先进复杂度界。
• SEMA框架为多样化非凸优化问题提供了统一的分析方法。