[论文解读] Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities

Zhongruo Wang, Krishnakumar Balasubramanian+2 more|arXiv (Cornell University)|Jan 22, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用 16

一句话总结

该论文提出了用于非凸-强凹极小极大问题的零阶算法，显著提升了Oracle复杂度。提出了ZO-GDA与ZO-GDMSA用于确定性设置及其随机变体，在强增长条件下实现了最优复杂度，匹配确定性边界，并在收敛速率与查询效率方面优于先前工作。

ABSTRACT

In this paper, we study zeroth-order algorithms for minimax optimization problems that are nonconvex in one variable and strongly-concave in the other variable. Such minimax optimization problems have attracted significant attention lately due to their applications in modern machine learning tasks. We first consider a deterministic version of the problem. We design and analyze the Zeroth-Order Gradient Descent Ascent ( exttt{ZO-GDA}) algorithm, and provide improved results compared to existing works, in terms of oracle complexity. We also propose the Zeroth-Order Gradient Descent Multi-Step Ascent ( exttt{ZO-GDMSA}) algorithm that significantly improves the oracle complexity of exttt{ZO-GDA}. We then consider stochastic versions of exttt{ZO-GDA} and exttt{ZO-GDMSA}, to handle stochastic nonconvex minimax problems. For this case, we provide oracle complexity results under two assumptions on the stochastic gradient: (i) the uniformly bounded variance assumption, which is common in traditional stochastic optimization, and (ii) the Strong Growth Condition (SGC), which has been known to be satisfied by modern over-parametrized machine learning models. We establish that under the SGC assumption, the complexities of the stochastic algorithms match that of deterministic algorithms. Numerical experiments are presented to support our theoretical results.

研究动机与目标

• 解决在黑箱与无导数设置下，非凸-凹极小极大问题中缺乏高效零阶算法的问题。
• 在确定性和随机设置下，改进零阶方法的Oracle复杂度，特别是在强增长条件等现实假设下。
• 设计出在仅能访问函数值的情况下，收敛复杂度与一阶方法相当的算法。
• 提供理论保证，确保以最少的函数查询次数收敛至𝜖-平稳点。
• 通过数值实验支持理论发现，验证改进的收敛速率。

提出的方法

• 提出ZO-GDA，一种基于有限差分梯度估计的零阶梯度下降-上升算法，用于非凸-强凹问题。
• 引入ZO-GDMSA，一种多步上升变体，通过减少对梯度估计误差的依赖，提升Oracle复杂度。
• 采用平滑技术，使用参数𝜇从函数值近似梯度，实现无导数优化。
• 在两种假设下分析随机变体：方差有界和强增长条件（SGC）。
• 通过在y更新中使用递归误差界并利用压缩性质，控制内层最大化问题的次优性。
• 通过有界外层目标函数梯度的期望范数，推导收敛速率，确保收敛至𝜖-平稳点。

实验结果

研究问题

• RQ1 零阶算法能否在非凸-强凹极小极大问题中实现最优Oracle复杂度？
• RQ2 强增长条件如何影响随机零阶方法的收敛复杂度？
• RQ3 多步上升能否在零阶极小极大优化中，使Oracle复杂度超越标准ZO-GDA？
• RQ4 在零阶梯度估计中，平滑参数𝜇与收敛速率之间的权衡是什么？
• RQ5 数值结果在多大程度上验证了理论复杂度边界？

主要发现

• ZO-GDMSA通过多步上升减少对梯度估计误差的依赖，相比ZO-GDA实现了更优的Oracle复杂度。
• 在强增长条件下，ZO-GDA与ZO-GDMSA的随机变体实现了与确定性版本相同的Oracle复杂度。
• 该算法框架在确定性设置下，以O(𝜖⁻⁴)的Oracle复杂度确保收敛至𝜖-平稳点，与已知的一阶方法边界一致。
• 平滑参数𝜇被选为O(min(1, 𝜌)𝑑₁⁻³ᐟ²)，以平衡近似误差与梯度估计方差。
• 数值实验验证了理论改进，显示更快的收敛速度和更低的函数查询次数，优于基线零阶方法。
• 分析表明，外层目标函数的期望梯度范数以O(𝜖⁻⁴)次查询收敛至O(𝜖²)，确保𝜖-平稳性。