[论文解读] Near-Optimal No-Regret Learning Dynamics for General Convex Games

Gabriele Farina, Ioannis Anagnostides+4 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文提出了一种新颖的无遗憾学习算法 LRL-OFTRL，适用于具有任意凸且紧致策略集的一般凸博弈。通过在提升空间中采用具有自共形正则化的乐观跟进正则化领导者框架（非障碍函数），该方法实现了每玩家 $O(\log T)$ 的遗憾，显著优于传统方法的 $O(\sqrt{T})$ 边界，同时通过每轮迭代复杂度为 $O(\log\log T)$ 的邻近预言机实现高效可计算性。

ABSTRACT

A recent line of work has established uncoupled learning dynamics such that, when employed by all players in a game, each player's \emph{regret} after $T$ repetitions grows polylogarithmically in $T$, an exponential improvement over the traditional guarantees within the no-regret framework. However, so far these results have only been limited to certain classes of games with structured strategy spaces -- such as normal-form and extensive-form games. The question as to whether $O( ext{polylog} T)$ regret bounds can be obtained for general convex and compact strategy sets -- which occur in many fundamental models in economics and multiagent systems -- while retaining efficient strategy updates is an important question. In this paper, we answer this in the positive by establishing the first uncoupled learning algorithm with $O(\log T)$ per-player regret in general \emph{convex games}, that is, games with concave utility functions supported on arbitrary convex and compact strategy sets. Our learning dynamics are based on an instantiation of optimistic follow-the-regularized-leader over an appropriately \emph{lifted} space using a \emph{self-concordant regularizer} that is, peculiarly, not a barrier for the feasible region. Further, our learning dynamics are efficiently implementable given access to a proximal oracle for the convex strategy set, leading to $O(\log\log T)$ per-iteration complexity; we also give extensions when access to only a \emph{linear} optimization oracle is assumed. Finally, we adapt our dynamics to guarantee $O(\sqrt{T})$ regret in the adversarial regime. Even in those special cases where prior results apply, our algorithm improves over the state-of-the-art regret bounds either in terms of the dependence on the number of iterations or on the dimension of the strategy sets.

研究动机与目标

• 为一般凸博弈中的无遗憾学习填补空白，此前研究仅限于如标准型或展开型博弈等结构化博弈。
• 设计一种高效可计算的强解耦学习动态，实现一般凸博弈中接近最优的 $O(\log T)$ 遗憾，策略集为任意凸且紧致。
• 将最先进的 $O(\operatorname{polylog}T)$ 遗憾保证扩展至更广泛的博弈类别，包括路由、资源分配和市场竟争模型。
• 通过仅需邻近预言机（弱于二次或线性预言机）实现实际效率，每轮迭代复杂度为 $O(\log\log T)$。
• 在对抗性环境中保持鲁棒性，即使效用非平稳，也能保证 $O(\sqrt{T})$ 遗憾。

提出的方法

• 提出一种新颖的学习动态 LRL-OFTRL，基于在策略变量与对偶变量的提升空间中采用乐观跟进正则化领导者（OFTRL）框架。
• 使用非障碍函数的自共形正则化，实现高效计算与强遗憾保证。
• 将原始策略变量提升至更高维空间，使正则化允许闭式更新并简化 KKT 系统。
• 通过将 KKT 系统简化为求解值函数 $V_Q(t; \bm{g}, \bm{w})$ 的次梯度，推导最优对偶变量，该值函数被证明为分段线性（SMPL）函数。
• 通过计算使正则化目标最小化的最优 $t \in [0,1]$ 构建邻近预言机，利用导数 $\lambda_Q(t; \bm{g}, \bm{w})$ 并借助 SMPL 结构实现高效计算。
• 将方法扩展至仅需线性优化预言机的弱化情形，尽管每轮迭代复杂度更高，但增强了适用范围。

实验结果

研究问题

• RQ1 能否在具有任意凸且紧致策略集的一般凸博弈中，使用高效可计算且解耦的学习算法实现 $O(\log T)$ 遗憾？
• RQ2 当效用为对抗性时，该遗憾保证是否仍能维持，确保在非平稳环境中的鲁棒性？
• RQ3 该算法能否仅通过邻近预言机实现高效计算，避免对更强的二次或线性预言机的依赖？
• RQ4 与先前的 $O(\operatorname{polylog}T)$ 遗憾算法相比，该方法在 $T$ 或维度依赖性方面是否表现更优？
• RQ5 提升与自共形正则化框架是否可用于推导策略空间的闭式或高效可计算的更新规则？

主要发现

• 所提出的 LRL-OFTRL 算法在一般凸博弈中实现了每玩家 $O(\log T)$ 的遗憾，相较于经典 $O(\sqrt{T})$ 边界有显著提升。
• 遗憾边界在对数因子范围内最优，与标准型博弈等结构化博弈中的最佳已知保证一致。
• 当存在邻近预言机时，该算法每轮迭代仅需 $O(\log\log T)$ 次操作，实现高效可计算。
• 该方法保持鲁棒性，在对抗性环境中即使效用非平稳，也能保证 $O(\sqrt{T})$ 遗憾。
• 邻近预言机的构建依赖于对偶导数 $\lambda_Q(t; \bm{g}, \bm{w})$ 的 SMPL（分段线性）结构，实现对 $t \in [0,1]$ 的精确且高效最小化。
• 该方法可扩展至仅需线性优化预言机的场景，尽管每轮迭代复杂度提高至 $O(\log T)$，但显著拓宽了适用范围。