[论文解读] On Last-Iterate Convergence Beyond Zero-Sum Games

Ioannis Anagnostides, Ioannis Panageas+2 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文在广泛类别的非零和博弈中建立了乐观镜像下降（OMD）和乐观梯度下降（OGD）的最后迭代收敛性，涵盖常和多矩阵博弈、策略性零和博弈以及势博弈。通过引入一种基于遗憾的分析方法，该方法界定了二阶路径长度，作者实现了 O(1/√T) 的收敛速率和 O(1) 的遗憾边界，即使参与者使用不同的算法或正则化项，也证明 OMD 要么收敛至纳什均衡，要么在效率上优于鲁棒价差的效率下限。

ABSTRACT

Most existing results about \emph{last-iterate convergence} of learning dynamics are limited to two-player zero-sum games, and only apply under rigid assumptions about what dynamics the players follow. In this paper we provide new results and techniques that apply to broader families of games and learning dynamics. First, we use a regret-based analysis to show that in a class of games that includes constant-sum polymatrix and strategically zero-sum games, dynamics such as \emph{optimistic mirror descent (OMD)} have \emph{bounded second-order path lengths}, a property which holds even when players employ different algorithms and prediction mechanisms. This enables us to obtain $O(1/\sqrt{T})$ rates and optimal $O(1)$ regret bounds. Our analysis also reveals a surprising property: OMD either reaches arbitrarily close to a Nash equilibrium, or it outperforms the \emph{robust price of anarchy} in efficiency. Moreover, for potential games we establish convergence to an $ε$-equilibrium after $O(1/ε^2)$ iterations for mirror descent under a broad class of regularizers, as well as optimal $O(1)$ regret bounds for OMD variants. Our framework also extends to near-potential games, and unifies known analyses for distributed learning in Fisher's market model. Finally, we analyze the convergence, efficiency, and robustness of \emph{optimistic gradient descent (OGD)} in general-sum continuous games.

研究动机与目标

• 解决在双人零和博弈之外的一般和博弈中缺乏最后迭代收敛保证的问题。
• 放松所有参与者必须使用相同学习动态的严格假设。
• 统一并扩展市场和连续博弈中分布式学习的现有分析。
• 建立 OMD 动态要么收敛至纳什均衡，要么在效率上超过鲁棒价差的效率下限。
• 为势博弈和近似势博弈中的 ε-均衡提供最优的 O(1) 遗憾和 O(1/ε²) 迭代复杂度。

提出的方法

• 提出一种基于遗憾的分析框架，将效用的遗憾有界变异性（RVU）性质与学习动态中二阶路径长度的有界性联系起来。
• 利用该路径长度有界性，推导出在总遗憾非负的博弈中 OMD 的 O(1/√T) 收敛速率和 O(1) 个体遗憾边界。
• 通过在一般正则化下验证 RVU 条件，将该框架应用于常和多矩阵博弈和策略性零和博弈。
• 通过使用广泛类别的正则化项，将结果扩展至势博弈，证明镜像下降在 O(1/ε²) 次迭代内收敛至 ε-均衡。
• 分析连续一般和博弈中的 OGD，表明在温和条件下可实现收敛，并刻画其在小扰动下的稳定性。
• 在实验中采用 H 阶预测机制和混合正则化（如欧几里得范数与负熵）以测试鲁棒性。

实验结果

研究问题

• RQ1 在双人零和博弈之外的一般和博弈中，能否保证最后迭代收敛？
• RQ2 当参与者使用不同学习算法或正则化项时，最后迭代收敛是否依然成立？
• RQ3 基于遗憾的分析能否被重新用于建立非零和博弈中路径长度有界性和收敛保证？
• RQ4 最后迭代收敛与效率上的鲁棒价差之间存在何种关系？
• RQ5 在不同正则化和预测机制下，OMD 和 OGD 在连续无约束一般和博弈中的行为如何？

主要发现

• 在常和多矩阵博弈和策略性零和博弈中，OMD 即使在动态异质的情况下，也能实现 O(1/√T) 的收敛速率和 O(1) 的遗憾。
• 对于势博弈，使用广泛正则化项的镜像下降在 O(1/ε²) 次迭代内收敛至 ε-均衡，与已知最优速率一致。
• OMD 动态要么收敛至纳什均衡，要么实现的社会福利超过鲁棒价差的效率下限，这是一种出人意料的效率保障。
• 该框架统一并扩展了对费舍尔市场模型和近似势博弈中分布式学习的先前分析。
• OGD 在连续一般和博弈中收敛至均衡，当博弈接近零和时，收敛速率接近 1 的线性收敛。
• 实验结果证实，在混合正则化（如欧几里得范数与负熵）下，即使理论边界不严格适用，系统仍表现出稳定的收敛性。