[论文解读] Near-Optimal No-Regret Learning in General Games

Constantinos Daskalakis, Maxwell Fishelson+1 more|arXiv (Cornell University)|Aug 16, 2021

Advanced Bandit Algorithms Research参考文献 37被引用 8

一句话总结

该论文表明，Optimistic Hedge 是一种具有近期偏好（recency bias）的简单无遗憾学习算法，在一般和博弈（general-sum multi-player games）中实现了对数多对数（polylogarithmic）的遗憾，具体为 $O(m \log n \cdot \log^4 T)$，显著优于标准无遗憾学习者的 $O(\sqrt{T})$ 遗憾，以及先前乐观方法的 $O(T^{1/4})$ 上界。该结果意味着以 $\tilde{O}(1/T)$ 的速率收敛至粗相关均衡（coarse correlated equilibrium），在一般博弈中建立了近乎最优的学习动态。

ABSTRACT

We show that Optimistic Hedge -- a common variant of multiplicative-weights-updates with recency bias -- attains ${ m poly}(\log T)$ regret in multi-player general-sum games. In particular, when every player of the game uses Optimistic Hedge to iteratively update her strategy in response to the history of play so far, then after $T$ rounds of interaction, each player experiences total regret that is ${ m poly}(\log T)$. Our bound improves, exponentially, the $O({T}^{1/2})$ regret attainable by standard no-regret learners in games, the $O(T^{1/4})$ regret attainable by no-regret learners with recency bias (Syrgkanis et al., 2015), and the ${O}(T^{1/6})$ bound that was recently shown for Optimistic Hedge in the special case of two-player games (Chen & Pen, 2020). A corollary of our bound is that Optimistic Hedge converges to coarse correlated equilibrium in general games at a rate of $ ilde{O}\left(\frac 1T ight)$.

研究动机与目标

• 弥合一般和博弈中最佳已知遗憾界与双人零和博弈中可实现的对数遗憾之间的差距。
• 确定是否可以使用简单且实用的学习算法在多人一般和博弈中实现对数多对数遗憾。
• 确立尽管结构简单，Optimistic Hedge 仍可在一般博弈中实现近乎最优遗憾。
• 为乐观学习动态提供一个统一的分析框架，同时捕捉快速收敛与对抗鲁棒性。

提出的方法

• 作者采用一种新颖的遗憾分解方法分析 Optimistic Hedge，将策略方差与随时间变化的损失差异的影响分离开来。
• 他们对损失序列中的方差项进行了精细化分析，利用了连续损失向量之间差异的有界性。
• 关键技术组件是采用时变步长 $\eta = \frac{1}{C m \log^4 T}$，以平衡探索与收敛。
• 证明依赖于两个核心引理：一个通过势函数界定期望遗憾，另一个控制损失差异中方差的增长。
• 当方差条件被违反时，算法通过切换至标准步长，进一步调整以保持 $O(\sqrt{T})$ 的对抗性遗憾。
• 通过解耦玩家动态并利用博弈策略空间的结构，将分析扩展至多人设置，以界定了每位玩家的累积遗憾。

实验结果

研究问题

• RQ1 是否可以使用一种简单且可实现的学习算法，在一般和博弈的多人设置中实现对数多对数遗憾？
• RQ2 具有近期偏好的 Optimistic Hedge（一种乘法权重变体）是否在一般博弈中相较于标准无遗憾算法展现出更优的遗憾速率？
• RQ3 在无遗憾学习下，一般和博弈中收敛至粗相关均衡的最优速率是多少？
• RQ4 是否存在一种单一算法，能够同时保证在结构化博弈中的快速收敛和在对抗环境下的鲁棒性？

主要发现

• Optimistic Hedge 在一般和博弈的多人设置中实现了 $O(m \log n \cdot \log^4 T)$ 的遗憾，相较于标准无遗憾学习者的 $O(\sqrt{T})$ 上限有显著改进。
• 该遗憾界相比先前乐观方法在一般博弈中实现的 $O(T^{1/4})$ 速率具有指数级优势。
• 在双人博弈的特殊情形下，该上界可进一步优化为 $O(\log^{5/6} n \cdot T^{1/6})$，与该设置下已知的最佳结果一致。
• 该算法以 $\tilde{O}(1/T)$ 的速率收敛至粗相关均衡，该速率在对数因子范围内为最优。
• Optimistic Hedge 的一个改进版本在保持 $O(\sqrt{T})$ 对抗性遗憾的同时，可在结构化博弈设置中实现对数多对数遗憾。
• 分析表明，快速收敛的关键在于控制损失差异随时间的方差，而不仅仅是损失大小本身。