[论文解读] No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization

Jun-Kun Wang, Jacob Abernethy+1 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Bandit Algorithms Research参考文献 70被引用 5

一句话总结

本文提出了一种统一框架——Fenchel博弈无遗憾动态（FGNRD），通过序列极小极大博弈中的无遗憾学习视角，解释并分析了一阶凸优化方法。通过将凸优化问题建模为两名玩家之间的Fenchel对偶博弈，表明经典方法如Frank-Wolfe、Nesterov加速法以及邻近方法均为该框架的特例，且其收敛速率可直接由在线学习算法的已知遗憾界推导得出。

ABSTRACT

We develop an algorithmic framework for solving convex optimization problems using no-regret game dynamics. By converting the problem of minimizing a convex function into an auxiliary problem of solving a min-max game in a sequential fashion, we can consider a range of strategies for each of the two-players who must select their actions one after the other. A common choice for these strategies are so-called no-regret learning algorithms, and we describe a number of such and prove bounds on their regret. We then show that many classical first-order methods for convex optimization -- including average-iterate gradient descent, the Frank-Wolfe algorithm, Nesterov's acceleration methods, and the accelerated proximal method -- can be interpreted as special cases of our framework as long as each player makes the correct choice of no-regret strategy. Proving convergence rates in this framework becomes very straightforward, as they follow from plugging in the appropriate known regret bounds. Our framework also gives rise to a number of new first-order methods for special cases of convex optimization that were not previously known.

研究动机与目标

• 将多种一阶凸优化方法统一于一个基于在线学习与博弈动态的算法框架之下。
• 证明Frank-Wolfe、Nesterov加速梯度法以及邻近方法等经典方法均为所提出的FGNRD框架的特例。
• 通过利用在线学习算法的已知遗憾界，系统性地推导收敛速率。
• 通过在Fenchel博弈中战略性地选择无遗憾学习动态，发现具有快速收敛速率的新一阶方法。
• 建立零和博弈中鞍点动态与通过时间平均迭代求解凸最小化问题之间的联系。

提出的方法

• 使用Fenchel共轭将凸最小化问题建模为极小极大博弈：$ g(x,y) = \langle x,y \rangle - f^*(y) $，其中 $ f^* $ 为目标函数 $ f $ 的共轭。
• 将两名玩家建模为在线学习者：一名选择 $ x_t $，另一名选择 $ y_t $，在 $ T $ 个轮次中依次更新其动作。
• 为两名玩家使用无遗憾学习算法（例如FTRL、OMD、LazyFTL），以确保其时间平均迭代 $ \bar{x}_T, \bar{y}_T $ 构成 $ \epsilon $-近似鞍点。
• 推导出平均 $ x $-玩家迭代 $ \bar{x}_T $ 收敛至 $ \min_{w \in \mathcal{K}} f(w) $ 的 $ \epsilon $-最优解，其中 $ \epsilon $ 取决于玩家的遗憾界。
• 建立关键关系式：$ f(w_T) - \min f(w) \leq \overline{\boldsymbol{\alpha}\textsc{-Reg}}^x + \overline{\boldsymbol{\alpha}\textsc{-Reg}}^y $，将优化误差与加权遗憾联系起来。
• 通过将已知遗憾界（例如，FTRL为 $ O(\log T / T) $，FTL为 $ O(1/T) $）代入误差界，证明收敛速率，具体取决于策略选择，可得 $ O(\log T / T) $ 或 $ O(1/T^2) $ 的收敛速率。

实验结果

研究问题

• RQ1 是否可以通过在线学习动态的统一框架，解释多种一阶凸优化方法的收敛性？
• RQ2 在极小极大Fenchel博弈中，无遗憾学习策略如何导致凸优化中的收敛？
• RQ3 在学习算法与权重上满足何种条件，可在FGNRD框架中实现加速收敛速率？
• RQ4 能否系统性地从这种博弈论视角推导出具有改进收敛速率的新一阶方法？
• RQ5 在线学习中的遗憾与凸最小化中的次优性之间存在何种精确关系？

主要发现

• 通过为 $ x $-玩家和 $ y $-玩家选择适当的无遗憾策略，FGNRD框架将Frank-Wolfe、Nesterov加速梯度法以及加速邻近方法统一为特例。
• 当 $ x $-玩家使用BestResp+，$ y $-玩家使用LazyFTL且 $ \alpha_t = t $ 时，框架实现 $ O(\log T / T) $ 的收敛速率。
• 当 $ x $-玩家使用FTRL+，$ y $-玩家使用FTRL+且 $ \alpha_t = t $ 时，框架实现加速的 $ O(1/T^2) $ 收敛速率。
• 该框架可推导出具有快速收敛速率的新一阶方法，包括文献中此前未见的新型 $ O(1/T^2) $ 方法。
• 收敛误差受加权遗憾之和的上界控制：$ f(w_T) - \min f(w) \leq \overline{\boldsymbol{\alpha}\textsc{-Reg}}^x + \overline{\boldsymbol{\alpha}\textsc{-Reg}}^y $，该式直接将优化误差与在线学习性能联系起来。
• 对于强凸集（如 $ \ell_p $、Schatten $ p $、分组 $ (s,p) $ 球），该框架可显式给出强凸参数 $ \lambda $ 的界，从而提供更紧致的收敛保证。