[论文解读] Optimistic Dual Extrapolation for Coherent Non-monotone Variational Inequalities

Chaobing Song, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Mar 7, 2021

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出乐观对偶外推法（OptDE），一种用于求解一致非单调变分不等式（VIP）的单梯度评估方法，此类问题在生成对抗网络（GAN）训练中具有核心地位。在弱解假设下，OptDE 实现了 O(1/ε²) 的收敛速率以逼近强解；当存在 σ-弱解时，收敛速率为线性 O(log(1/ε))，与最先进的双梯度方法收敛速率相当，同时在深度学习应用中更具实用性。

ABSTRACT

The optimization problems associated with training generative adversarial neural networks can be largely reduced to certain {\em non-monotone} variational inequality problems (VIPs), whereas existing convergence results are mostly based on monotone or strongly monotone assumptions. In this paper, we propose {\em optimistic dual extrapolation (OptDE)}, a method that only performs {\em one} gradient evaluation per iteration. We show that OptDE is provably convergent to {\em a strong solution} under different coherent non-monotone assumptions. In particular, when a {\em weak solution} exists, the convergence rate of our method is $O(1/{ε^{2}})$, which matches the best existing result of the methods with two gradient evaluations. Further, when a {\em $σ$-weak solution} exists, the convergence guarantee is improved to the linear rate $O(\log\frac{1}ε)$. Along the way--as a byproduct of our inquiries into non-monotone variational inequalities--we provide the near-optimal $O\big(\frac{1}ε\log \frac{1}ε\big)$ convergence guarantee in terms of restricted strong merit function for monotone variational inequalities. We also show how our results can be naturally generalized to the stochastic setting, and obtain corresponding new convergence results. Taken together, our results contribute to the broad landscape of variational inequality--both non-monotone and monotone alike--by providing a novel and more practical algorithm with the state-of-the-art convergence guarantees.

研究动机与目标

• 为解决在非凸-非凹极小极大问题（如 GAN）中常见的非单调变分不等式中，一阶方法缺乏收敛性保证的问题。
• 开发一种仅需每轮迭代一次梯度评估的实用算法，区别于现有双梯度外推方法。
• 在一致非单调假设下，建立对强解的可证明收敛性，包括弱解与 σ-弱解条件。
• 将分析扩展至随机设置，为噪声梯度或小批量梯度提供新的收敛结果。
• 弥合理论收敛速率与深度生成模型训练实际效率之间的差距。

提出的方法

• OptDE 引入一种新颖的乐观对偶外推更新机制，结合外推步骤与改进的类似动量的机制，以在非单调设置中稳定迭代点。
• 该方法每轮迭代仅使用一次梯度评估，相较于双梯度外推方法更具计算效率。
• 通过在迭代点上采用加权平均方案，确保即使在算子非单调时也能收敛至强解。
• 算法在两个关键假设下进行分析：存在弱解（导致 O(1/ε²) 速率）与存在 σ-弱解（导致线性 O(log(1/ε)) 速率）。
• 采用受限强优势函数衡量进展，分析利用李雅普诺夫函数与递推不等式来界定迭代点与解之间的距离。
• 通过在梯度估计中引入有界方差，将方法推广至随机设置，且在温和假设下仍保持收敛保证。

实验结果

研究问题

• RQ1 单梯度评估方法是否能在非单调变分不等式中实现与双梯度外推方法相当的收敛速率？
• RQ2 在一致非单调假设（如弱解或 σ-弱解）下，可建立何种收敛保证？
• RQ3 所提出方法在存在噪声梯度的随机设置下表现如何？
• RQ4 当算子非单调时（如 GAN 训练中），该算法能否保持对强解的收敛性？
• RQ5 能否通过单次调用方法实现单调 VIP 的近似最优收敛速率？

主要发现

• 当存在弱解时，OptDE 实现了 O(1/ε²) 的收敛速率以逼近强解，与双梯度方法的最佳已知速率相当。
• 当存在 σ-弱解时，OptDE 实现线性 O(log(1/ε)) 收敛速率，显著优于非线性速率。
• 通过使用受限强优势函数，该方法为单调 VIP 提供了近似最优的 O(1/ε log(1/ε)) 收敛保证。
• 分析在有界方差的随机设置中建立收敛性，扩展了方法在小批量训练中的适用性。
• 该算法在仅需每轮迭代一次梯度评估的前提下，保持理论保证，显著提升了在深度学习中的实用性。