[论文解读] Proximal Point Approximations Achieving a Convergence Rate of O(1/k) for Smooth Convex-Concave Saddle Point Problems: Optimistic Gradient and Extra-gradient Methods.

Aryan Mokhtari, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

该论文通过将乐观梯度下降-上升（OGDA）方法与额外梯度（EG）方法解释为近端点法的近似，首次在光滑凸-凹鞍点问题中建立了OGDA方法的O(1/k)收敛速率。它证明了两种算法均生成有界迭代序列，并通过平均迭代序列实现了对偶间隙的O(1/k)收敛，且无需紧致性假设，从而提供了简化的收敛性分析。

ABSTRACT

We study the iteration complexity of the optimistic gradient descent-ascent (OGDA) method and the extra-gradient (EG) method for finding a saddle point of a convex-concave unconstrained min-max problem. To do so, we first show that both OGDA and EG can be interpreted as approximate variants of the proximal point method. This is similar to the approach taken in [Nemirovski, 2004] which analyzes EG as an approximation of the `conceptual mirror prox'. In this paper, we highlight how gradients used in OGDA and EG try to approximate the gradient of the Proximal Point method. We then exploit this interpretation to show that both algorithms produce iterates that remain within a bounded set. We further show that the primal dual gap of the averaged iterates generated by both of these algorithms converge with a rate of $\mathcal{O}(1/k)$. Our theoretical analysis is of interest as it provides a the first convergence rate estimate for OGDA in the general convex-concave setting. Moreover, it provides a simple convergence analysis for the EG algorithm in terms of function value without using compactness assumption.

研究动机与目标

• 在光滑凸-凹极小-极大问题中建立乐观梯度下降-上升（OGDA）方法的收敛速率。
• 证明OGDA与额外梯度（EG）方法均可被解释为近端点法的近似。
• 证明两种算法的平均迭代序列的对偶间隙收敛速率为O(1/k)。
• 在不依赖紧致性假设的前提下，提供EG方法的简化收敛性分析。
• 证明在给定条件下，OGDA与EG生成的迭代序列保持有界。

提出的方法

• 将OGDA与EG解释为近端点法的近似变体，利用梯度近似以模拟近端点法的理想更新。
• 借助近端点法解释，证明在光滑凸-凹假设下，OGDA与EG的迭代序列具有有界性。
• 分析平均迭代序列的对偶间隙，推导出O(1/k)收敛速率。
• 应用一种新颖的分析框架，避免紧致性假设，从而简化EG的收敛性证明。
• 证明OGDA与EG中的梯度步长有效近似了近端点法的梯度，从而通过该近似建立收敛性保证。

实验结果

研究问题

• RQ1 乐观梯度下降-上升（OGDA）方法是否能在光滑凸-凹鞍点问题中实现O(1/k)的收敛速率？
• RQ2 OGDA与额外梯度（EG）方法在算法结构与收敛性方面与近端点法有何关系？
• RQ3 在凸-凹条件下，OGDA与EG的平均迭代序列的对偶间隙是否以O(1/k)速率收敛？
• RQ4 是否可以在不依赖紧致性假设的前提下简化EG的收敛性分析？
• RQ5 OGDA与EG在一般凸-凹设定下是否生成有界迭代序列？

主要发现

• OGDA方法在光滑凸-凹鞍点问题中，对平均迭代序列的对偶间隙实现了O(1/k)的收敛速率，这是该设定下OGDA首次获得此类速率估计。
• 在光滑凸-凹假设下，OGDA与EG均生成有界迭代序列，确保了优化过程中的迭代稳定性。
• 额外梯度方法在无需紧致性假设的前提下实现了对偶间隙的O(1/k)收敛，简化了理论分析。
• 近端点法解释提供了一个统一框架，通过近似理想近端更新，解释了OGDA与EG的收敛行为。
• 分析表明，OGDA与EG中的梯度步长有效模拟了近端点法的梯度，从而通过该近似实现收敛性保证。