[论文解读] Potential Function-based Framework for Making the Gradients Small in Convex and Min-Max Optimization

Jelena Diakonikolas, Puqian Wang|arXiv (Cornell University)|Jan 28, 2021

Stochastic Gradient Optimization Techniques参考文献 53被引用 7

一句话总结

本文提出了一种基于势函数的新型框架，用于分析在光滑凸函数和凸-凹型极小化问题中最小化梯度范数的一阶优化算法。通过将收敛性建模为减小梯度范数与一个最优性间隙之间的权衡，该框架提供了直观的收敛性保证，并建立了紧致的下界，证明了诸如外梯度法（extragradient）等标准方法在梯度范数最小化中是次优的，而采用自适应步长的Halpern型方法可实现最优的 $1/k$ 收敛速率。

ABSTRACT

Making the gradients small is a fundamental optimization problem that has eluded unifying and simple convergence arguments in first-order optimization, so far primarily reserved for other convergence criteria, such as reducing the optimality gap. We introduce a novel potential function-based framework to study the convergence of standard methods for making the gradients small in smooth convex optimization and convex-concave min-max optimization. Our framework is intuitive and it provides a lens for viewing algorithms that make the gradients small as being driven by a trade-off between reducing either the gradient norm or a certain notion of an optimality gap. On the lower bounds side, we discuss tightness of the obtained convergence results for the convex setup and provide a new lower bound for minimizing norm of cocoercive operators that allows us to argue about optimality of methods in the min-max setup.

研究动机与目标

• 统一并阐明一阶算法在最小化梯度范数而非函数值或最优性间隙时的收敛机制。
• 解决在凸和极小-极大设置下，梯度范数最小化缺乏直观且可推广的收敛性分析的问题。
• 为梯度范数最小化建立紧致的下界，证明某些算法的最优性以及经典方法（如外梯度法和镜像-近端法）的次优性。
• 表明在标准迭代格式中，恒定步长无法实现对强单调算子范数最小化的快于 $1/\sqrt{k}$ 的收敛速度，因此必须采用自适应步长以获得最优速率。
• 将分析拓展至非欧几里得空间，并探讨固定迭代次数或精度目标在实现近似最优收敛速率中的作用。

提出的方法

• 提出一种势函数框架，将梯度范数最小化解释为减小梯度范数与一种抽象最优性间隙之间的权衡。
• 利用复分析和多项式逼近技术，通过分析算法递推关系中复系数的实部与虚部，推导出下界。
• 通过选择 $\alpha^2 = L\eta - \eta^2$ 对 $|c_0(\eta + \alpha i)|^{2K}$ 进行变换，实现实部与虚部分离，从而实现变量分离并控制实部的上界。
• 采用受正则化启发的方法，推导出最坏情况下梯度范数的下界，证明对于 $p$ 次多项式 $c_0'(\eta)$，有 $\sup_{\eta \in (0,L]} L\eta |c_0'(\eta)|^{2K} \geq \frac{L^2}{80p^2K}$。
• 利用性能估计框架与半定规划的洞见，推导出极小-极大设置下的下界，证明对于采用恒定步长的标准方法，$1/k$ 收敛速率不可再改进。
• 证明采用与迭代次数相关的步长的算法（如Halpern算法）可实现最优的 $1/k$ 收敛速率，而恒定步长方法的收敛速率上限为 $1/\sqrt{k}$。

实验结果

研究问题

• RQ1 驱动梯度范数最小化收敛性的根本机制是什么？如何在凸优化与极小-极大优化之间统一这一机制？
• RQ2 为何经典的一阶方法（如外梯度法和镜像-近端法）在最小化梯度范数时表现次优，尽管它们在减小原-对偶间隙方面是最优的？
• RQ3 能否构建一个通用的势函数框架，以提供对梯度范数最小化具有直观性和可解释性的收敛性分析？
• RQ4 在极小-极大问题中，对强单调算子范数最小化的收敛速率，其最紧的可能下界是什么？
• RQ5 在标准迭代格式中，能否通过恒定步长实现快于 $1/\sqrt{k}$ 的收敛速度以最小化梯度范数？

主要发现

• 所提出的势函数框架为理解梯度范数最小化提供了一个统一的视角，将其视为减小梯度范数与最优性间隙之间的权衡，从而提供了直观的收敛性洞见。
• 为最坏情况下的梯度范数建立了紧致下界 $\frac{L^2}{80p^2K}$，证明恒定步长方法无法实现快于 $1/\sqrt{k}$ 的收敛速度，以最小化强单调算子的范数。
• 采用自适应步长的Halpern算法可实现梯度范数最小化的最优 $1/k$ 收敛速率，且对于采用恒定步长的标准迭代格式，该速率不可再改进。
• 尽管快速梯度法（FGM）在函数值减少方面是最优的，但在梯度范数最小化中表现次优，凸显了不同收敛准则之间的根本性脱节。
• 该框架揭示，在凸优化中，提前固定迭代次数或目标精度对于实现近似最优的收敛速率至关重要，提示了新的理论挑战。
• 结果表明，现有算法（如外梯度法和镜像-近端法）在梯度范数最小化中本质上是次优的，因此需要设计采用自适应步长的新算法以实现最优性能。