[论文解读] Solving Weakly-Convex-Weakly-Concave Saddle-Point Problems as Weakly-Monotone Variational Inequality

Qihang Lin, Mingrui Liu+2 more|arXiv (Cornell University)|Oct 24, 2018

Sparse and Compressive Sensing Techniques被引用 28

一句话总结

本文提出了一种新颖的算法框架，用于求解生成对抗网络（GAN）训练中常见的弱凸-弱凹极小极大问题，通过将问题重新表述为弱单调变分不等式（VI）。通过迭代地使用不精确的邻近点方法求解强单调子问题，该方法实现了对几乎平稳解的一阶收敛，并具备可证明的收敛速率。

ABSTRACT

In this paper, we consider first-order convergence theory and algorithms for solving a class of non-convex non-concave min-max saddle-point problems, whose objective function is weakly convex in the variables of minimization and weakly concave in the variables of maximization. It has many important applications in machine learning including training Generative Adversarial Nets (GANs). We propose an algorithmic framework motivated by the inexact proximal point method, where the weakly monotone variational inequality (VI) corresponding to the original min-max problem is solved through approximately solving a sequence of strongly monotone VIs constructed by adding a strongly monotone mapping to the original gradient mapping. We prove first-order convergence to a nearly stationary solution of the original min-max problem of the generic algorithmic framework and establish different rates by employing different algorithms for solving each strongly monotone VI. Experiments verify the convergence theory and also demonstrate the effectiveness of the proposed methods on training GANs.

研究动机与目标

• 为解决机器学习中出现的非凸非凹极小极大问题，特别是生成对抗网络（GAN）训练中的挑战。
• 为针对弱凸-弱凹鞍点问题的算法建立一阶收敛理论。
• 在变分不等式框架下，建立对几乎平稳解的收敛保证。
• 设计一种通用的算法框架，可整合多种子问题求解器，同时保持收敛性。

提出的方法

• 利用目标函数的梯度映射，将原始极小极大问题重新表述为弱单调变分不等式（VI）。
• 通过向原始梯度映射中添加一个强单调映射，构造一系列强单调VI。
• 应用不精确邻近点方法，近似求解这一系列强单调VI。
• 对每个强单调VI子问题使用不同的一阶求解器，以实现不同的收敛速率。
• 通过迭代精炼，确保全局收敛至原始问题的几乎平稳解。
• 利用原始VI的弱单调性，在适当假设下推导收敛速率。

实验结果

研究问题

• RQ1 我们能否为具有弱凸-弱凹结构的极小极大问题建立一阶收敛保证？
• RQ2 如何利用变分不等式理论有效处理极小极大优化中的非凸非凹目标？
• RQ3 在不精确邻近点框架下，不同求解器应用于子问题时可实现何种收敛速率？
• RQ4 尽管存在非凸性和非凹性，该框架在训练生成对抗网络（GAN）方面是否具有实际有效性？

主要发现

• 所提出的算法框架实现了对原始弱凸-弱凹极小极大问题的几乎平稳解的一阶收敛。
• 根据用于强单调子问题的求解器选择，可建立不同的收敛速率。
• 该框架适用于广泛的非凸非凹问题，包括生成对抗网络（GAN）训练中出现的问题。
• 实验结果验证了理论收敛行为，并展示了在训练生成对抗网络（GAN）中的实际有效性。
• 该方法通过将问题转化为一系列条件良好的子问题，为求解弱凸-弱凹问题提供了一体化方法。
• 不精确邻近点方法确保了即使子问题被近似求解，仍具备鲁棒性和收敛性。