[论文解读] Tight last-iterate convergence rates for no-regret learning in multi-player games

Noah Golowich, Sarath Pattathil+1 more|arXiv (Cornell University)|Oct 26, 2020

Advanced Bandit Algorithms Research参考文献 66被引用 8

一句话总结

本文通过使用固定步长的乐观梯度（OG）算法，建立了多玩家博弈中无遗憾学习的紧致最后迭代收敛速率。它证明了在光滑单调博弈中，对均衡间隙函数的收敛速率为 $O(1/\sqrt{T})$，并通过一种新颖的自适应势函数技术以及对 Arjevani 等人（2015）猜想的直接证明，表明该速率对所有 $p$-SCLI 算法（包括 OG）都是最优的。

ABSTRACT

We study the question of obtaining last-iterate convergence rates for no-regret learning algorithms in multi-player games. We show that the optimistic gradient (OG) algorithm with a constant step-size, which is no-regret, achieves a last-iterate rate of $O(1/\sqrt{T})$ with respect to the gap function in smooth monotone games. This result addresses a question of Mertikopoulos & Zhou (2018), who asked whether extra-gradient approaches (such as OG) can be applied to achieve improved guarantees in the multi-agent learning setting. The proof of our upper bound uses a new technique centered around an adaptive choice of potential function at each iteration. We also show that the $O(1/\sqrt{T})$ rate is tight for all $p$-SCLI algorithms, which includes OG as a special case. As a byproduct of our lower bound analysis we additionally present a proof of a conjecture of Arjevani et al. (2015) which is more direct than previous approaches.

研究动机与目标

• 解决关于额外梯度方法（如乐观梯度（OG））是否能在固定步长下实现多智能体学习中改进的最后迭代收敛保证这一开放问题。
• 在光滑单调博弈中，建立无遗憾学习算法最后迭代的紧致收敛速率，特别是针对 OG 算法。
• 通过构造匹配的下界，证明 $O(1/\sqrt{T})$ 速率对所有 $p$-SCLI 算法（包括 OG）都是最优的。
• 通过一种新颖的自适应势函数方法，对 Arjevani 等人（2015）关于基于梯度方法最优性的猜想提供直接证明。

提出的方法

• 提出一种基于在每次迭代中自适应选择势函数的新证明技术，以分析乐观梯度（OG）算法的最后迭代收敛性。
• 分析在光滑单调博弈中使用固定步长的 OG 算法，证明其以 $O(1/\sqrt{T})$ 的速率收敛到均衡间隙函数。
• 通过构造具有结构化 Hessian 矩阵的二次函数，建立所有 $p$-SCLI 算法（包括 OG）的下界。
• 利用迭代矩阵的谱分析来界定收敛速率，依赖于 [ASSS15] 和 [Proposition 8] 的结果，将谱半径与算法稳定性关联起来。
• 将优化问题约化为博弈动力学，将 $p$-SCLI 方法的收敛性映射到具有受控曲率的二次函数的行为上。
• 采用奇异值分解和范数分析，推导出子优度间隙的下界 $\Omega(\ell D^2 / T)$，从而证明上界是紧致的。

实验结果

研究问题

• RQ1 额外梯度方法（如乐观梯度（OG））是否能在固定步长下实现多玩家博弈中改进的最后迭代收敛速率？
• RQ2 在光滑单调博弈中，OG 算法最后迭代的 $O(1/\sqrt{T})$ 收敛速率是否是紧致的，还是可以进一步改进？
• RQ3 在光滑单调博弈中，$p$-SCLI 算法的最后迭代收敛是否存在根本性限制？
• RQ4 能否不依赖间接约化，直接证明 Arjevani 等人（2015）关于基于梯度方法最优性的猜想？

主要发现

• 使用固定步长的乐观梯度（OG）算法在光滑单调博弈中，对间隙函数实现了 $O(1/\sqrt{T})$ 的最后迭代收敛速率。
• 该 $O(1/\sqrt{T})$ 速率对所有 $p$-SCLI 算法（包括 OG）都是紧致的，意味着在一般光滑单调博弈中，任何此类算法都无法实现更快的最后迭代收敛速率。
• 本文通过一种新颖的自适应势函数技术，对 Arjevani 等人（2015）关于基于梯度方法最优性的猜想提供了直接证明。
• 下界构造表明，即使对于 OG 这类结构良好的算法，$O(1/\sqrt{T})$ 速率也无法改进，从而确立了多智能体学习中的根本性限制。
• 分析表明，收敛速率本质上与算法迭代矩阵的谱性质相关，其界依赖于算法特定的常数。
• 结果表明，固定步长学习可以在不依赖递减学习率的情况下实现最后迭代收敛，这从经济学和动态系统视角来看更具自然性。