[论文解读] Online and Bandit Algorithms for Nonstationary Stochastic Saddle-Point Optimization

Abhishek Roy, Yifang Chen+2 more|arXiv (Cornell University)|Dec 3, 2019

Advanced Bandit Algorithms Research参考文献 62被引用 10

一句话总结

本文为在线和老虎机设置下的非平稳随机鞍点优化提出了新颖的遗憾定义，提出了外梯度和弗兰克-沃尔夫算法，在强凸性和强凹性条件下实现了次线性遗憾界。主要贡献是通过零阶反馈实现了对 $\epsilon$-最优解的几何收敛速率的理论收敛保证。

ABSTRACT

Saddle-point optimization problems are an important class of optimization problems with applications to game theory, multi-agent reinforcement learning and machine learning. A majority of the rich literature available for saddle-point optimization has focused on the offline setting. In this paper, we study nonstationary versions of stochastic, smooth, strongly-convex and strongly-concave saddle-point optimization problem, in both online (or first-order) and multi-point bandit (or zeroth-order) settings. We first propose natural notions of regret for such nonstationary saddle-point optimization problems. We then analyze extragradient and Frank-Wolfe algorithms, for the unconstrained and constrained settings respectively, for the above class of nonstationary saddle-point optimization problems. We establish sub-linear regret bounds on the proposed notions of regret in both the online and bandit setting.

研究动机与目标

• 为在线和老虎机设置下的非平稳随机鞍点优化形式化有意义的静态和动态遗憾概念。
• 将在线凸优化框架扩展至具有时变目标的鞍点问题。
• 在非平稳条件下，为无约束和有约束设置设计并分析外梯度和弗兰克-沃尔夫算法。
• 在在线（一阶）和老虎机（零阶）反馈设置下建立次线性遗憾界。
• 通过随机零阶预言机实现对 $\epsilon$-最优鞍点的几何收敛。

提出的方法

• 基于纳什均衡准则引入一种基于平滑化的静态遗憾概念，适用于时变函数。
• 为无约束设置提出外梯度算法，采用自适应步长 $\gamma_k = \min\{1, \frac{C_0}{4C_1}g_{k-1}\}$。
• 在有约束设置中应用弗兰克-沃尔夫算法，利用线性子问题预言机。
• 在零阶老虎机反馈中，通过 $m_k$ 和 $v_k$ 进行梯度估计以近似梯度。
• 推导势函数 $w_k$ 上的递归不等式以界收敛速率。
• 通过收缩因子 $\rho = 1 - \min\{\frac{C_0^2\delta_\mu^2}{8C_1}, \frac{C_0}{2}\}$ 建立 $\mathbb{E}[w_k]$ 的几何衰减。

实验结果

研究问题

• RQ1 如何为在线和老虎机设置下的非平稳鞍点优化定义有意义的遗憾概念？
• RQ2 外梯度和弗兰克-沃尔夫算法是否能在非平稳、随机、强凸-强凹设置下实现次线性遗憾？
• RQ3 在零阶反馈下，这些算法的收敛速率可保证为多少？
• RQ4 自适应步长的选择如何影响收敛至 $\epsilon$-最优解？
• RQ5 收敛性对梯度估计误差和问题参数的依赖关系如何？

主要发现

• 所提出的外梯度和弗兰克-沃尔夫算法在非平稳鞍点问题的在线和老虎机设置下均实现了次线性遗憾。
• 这些算法以几何速率收敛至 $\epsilon$-最优鞍点，收敛速率由 $\rho = 1 - \min\{\frac{C_0^2\delta_\mu^2}{8C_1}, \frac{C_0}{2}\}$ 决定。
• 期望迭代满足 $\mathbb{E}[w_k] \leq (1 - \rho)^T(\mathbb{E}[w_0] - \frac{1}{\rho}\max\{\mathbb{E}[T_2], \mathbb{E}[T_3]\}) + \frac{1}{\rho}\max\{\mathbb{E}[T_2], \mathbb{E}[T_3]\}$，表明其具有几何收敛性。
• 为达到 $\epsilon$-最优性，对随机零阶预言机和线性子问题的调用次数是有限的。
• 梯度估计误差 $\Delta_k^{x[y]}$ 通过界中的项 $T_2$ 和 $T_3$ 直接影响收敛速率。
• 分析表明，即使在目标函数时变和反馈噪声存在的情况下，该算法仍保持稳定且收敛。