[论文解读] On the convergence of single-call stochastic extra-gradient methods

Yu-Guan Hsieh, Franck Iutzeler+2 more|arXiv (Cornell University)|Aug 22, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 23

一句话总结

该论文首次为非单调变分不等式中的单次调用随机额外梯度（1-EG）方法建立了收敛速率保证。证明了1-EG方法的最后迭代点在满足二阶充分条件的解处达到O(1/t)的局部收敛速率，将最优收敛速率的保证扩展到了单调性设置之外。

ABSTRACT

Variational inequalities have recently attracted considerable interest in machine learning as a flexible paradigm for models that go beyond ordinary loss function minimization (such as generative adversarial networks and related deep learning systems). In this setting, the optimal $\mathcal{O}(1/t)$ convergence rate for solving smooth monotone variational inequalities is achieved by the Extra-Gradient (EG) algorithm and its variants. Aiming to alleviate the cost of an extra gradient step per iteration (which can become quite substantial in deep learning applications), several algorithms have been proposed as surrogates to Extra-Gradient with a \emph{single} oracle call per iteration. In this paper, we develop a synthetic view of such algorithms, and we complement the existing literature by showing that they retain a $\mathcal{O}(1/t)$ ergodic convergence rate in smooth, deterministic problems. Subsequently, beyond the monotone deterministic case, we also show that the last iterate of single-call, \emph{stochastic} extra-gradient methods still enjoys a $\mathcal{O}(1/t)$ local convergence rate to solutions of \emph{non-monotone} variational inequalities that satisfy a second-order sufficient condition.

研究动机与目标

• 解决在深度学习中求解变分不等式时，额外梯度（EG）方法中两次梯度调用带来的高计算成本。
• 提出一个统一的单次调用额外梯度（1-EG）方法框架，仅需每轮一次预言机调用，即可保留EG方法的前瞻特性。
• 在单调性条件下，为1-EG方法在确定性和随机设置下建立最优的O(1/t)收敛速率。
• 通过证明在满足二阶充分条件时，局部O(1/t)最后迭代点收敛，将收敛保证扩展至非单调问题。
• 为在非凸、非单调设置（如GANs）中使用1-EG方法提供理论基础，其中最后迭代点收敛至关重要。

提出的方法

• 提出一种用于分析单次调用额外梯度（1-EG）方法的综合框架，每轮仅使用一次梯度评估来近似EG方法的双梯度结构。
• 基于到解的平方距离，引入一种基于事件$E_t$的李雅普诺夫函数分析，其中迭代点保持在解的邻域内。
• 采用两步更新规则：第一步为使用预测梯度的外推步骤，第二步为仅通过一次梯度评估完成的校正步骤。
• 利用包含噪声界和步长控制的递归不等式，结合期望平方距离到解的表达式。
• 采用概率论论证，利用递减事件$E_t$以确保局部收敛，且仅需局部有界的噪声。
• 利用一个关键技术引理（A.3）来界定期望误差衰减速率，从而在适当的步长和噪声假设下实现O(1/t)收敛。

实验结果

研究问题

• RQ1 单次调用额外梯度方法是否能在确定性、光滑、单调的变分不等式中实现最优的O(1/t)收敛速率？
• RQ2 在具有有界方差噪声的随机设置中，1-EG方法是否对遍历平均和最后迭代点均保持O(1/t)的收敛速率？
• RQ3 在满足二阶充分条件的非单调变分不等式中，1-EG方法的最后迭代点收敛是否可保证？
• RQ4 局部噪声假设在实现非单调问题收敛中起什么作用？
• RQ5 事件驱动分析框架如何在不依赖噪声全局有界性的前提下确保收敛？

主要发现

• 1-EG方法在确定性、光滑、单调的变分不等式中实现了O(1/t)的遍历收敛速率。
• 在具有有界方差噪声的随机设置中，1-EG方法的遍历平均和最后迭代点均以O(1/t)的速率收敛。
• 对于满足二阶充分条件的非单调变分不等式，1-EG方法的最后迭代点以高概率实现局部O(1/t)收敛。
• 该收敛结果在局部噪声假设下成立，仅需在解的邻域内具有有界二阶矩。
• 该分析表明，最后迭代点不仅收敛，且实现了最优收敛速率，这对非单调问题至关重要，因为在这些情况下平均化方法会失效。
• 该理论框架首次为非单调设置下的单次调用额外梯度方法提供了O(1/t)最后迭代点收敛保证。