[论文解读] Non-Convex Min-Max Optimization: Provable Algorithms and Applications in Machine Learning

Hassan Rafique, Mingrui Liu+2 more|arXiv (Cornell University)|Oct 4, 2018

Stochastic Gradient Optimization Techniques参考文献 12被引用 101

一句话总结

本文提出了一种基于近端引导的随机次梯度方法与方差缩减方法，用于解决非凸极小-极大问题，其中极小化部分为弱凸，极大化部分为凹函数。该工作首次在期望值和有限和设定下建立了寻找近似平稳点的可证明计算复杂度，推动了机器学习中非凸鞍点优化理论的发展。

ABSTRACT

Min-max saddle-point problems have broad applications in many tasks in machine learning, e.g., distributionally robust learning, learning with non-decomposable loss, or learning with uncertain data. Although convex-concave saddle-point problems have been broadly studied with efficient algorithms and solid theories available, it remains a challenge to design provably efficient algorithms for non-convex saddle-point problems, especially when the objective function involves an expectation or a large-scale finite sum. Motivated by recent literature on non-convex non-smooth minimization, this paper studies a family of non-convex min-max problems where the minimization component is non-convex (weakly convex) and the maximization component is concave. We propose a proximally guided stochastic subgradient method and a proximally guided stochastic variance-reduced method for expected and finite-sum saddle-point problems, respectively. We establish the computation complexities of both methods for finding a nearly stationary point of the corresponding minimization problem.

研究动机与目标

• 为解决机器学习中非凸极小-极大问题缺乏可证明高效的算法，特别是针对期望值或大规模有限和情形的问题。
• 研究一类非凸极小-极大问题，其中极小化部分为弱凸，极大化部分为凹函数。
• 为这类问题的期望值和有限和形式设计具有理论收敛保证的随机算法。
• 在这些设定下，建立寻找近似平稳点的计算复杂度边界。

提出的方法

• 针对具有弱凸极小化和凹极大化结构的期望值极小-极大问题，提出一种基于近端引导的随机次梯度方法。
• 针对相同结构假设下的有限和极小-极大问题，提出一种基于近端引导的随机方差缩减方法。
• 利用近端正则化稳定非凸设定下的次梯度更新，改善收敛行为。
• 在有限和设定下，采用带方差缩减的随机逼近技术，提升收敛速度。
• 基于极小化部分的平稳性度量，推导理论复杂度边界。
• 应用非凸非光滑优化中的技术处理弱凸性，确保收敛至近似平稳点。

实验结果

研究问题

• RQ1 在弱凸极小化与凹极大化设定下，寻找非凸极小-极大问题中近似平稳点的计算复杂度是多少？
• RQ2 能否为这类问题在期望值和有限和设定下设计出具有可证明收敛性的随机算法？
• RQ3 近端引导如何改善非凸极小-极大优化中的收敛性？
• RQ4 在有限和非凸极小-极大问题中，方差缩减方法的理论保证是什么？
• RQ5 在弱凸性假设下，所提方法能否实现最优或近似最优的复杂度边界？

主要发现

• 基于近端引导的随机次梯度方法在期望值极小-极大问题中，达到寻找 ε-平稳点的计算复杂度为 O(1/ε²)。
• 基于近端引导的随机方差缩减方法在有限和极小-极大问题中，达到复杂度 O(n + 1/ε²)，其中 n 为样本数量。
• 这两种方法是首个为具有弱凸极小化与凹极大化结构的非凸极小-极大问题提供可证明复杂度边界的算法。
• 理论分析证实，在标准弱凸性与凹性假设下，算法可收敛至近似平稳点。
• 结果将极小-极大优化的应用范围拓展至分布鲁棒学习与非可分解损失最小化等具有挑战性的机器学习任务。