[论文解读] When Can We Learn General-Sum Markov Games with a Large Number of Players Sample-Efficiently?

Ziang Song, Mei Song+1 more|arXiv (Cornell University)|Oct 8, 2021

Reinforcement Learning in Robotics参考文献 57被引用 7

一句话总结

本文提出了在大规模玩家通用和博弈马尔可夫游戏中学习均衡的样本高效算法。其在粗相关均衡（CCE）和相关均衡（CE）中实现了与每名玩家动作数的多项式依赖关系，而在马尔可夫势博弈中的纳什均衡中实现了与总动作数的线性依赖关系，显著优于以往的指数级基线方法。

ABSTRACT

Multi-agent reinforcement learning has made substantial empirical progresses in solving games with a large number of players. However, theoretically, the best known sample complexity for finding a Nash equilibrium in general-sum games scales exponentially in the number of players due to the size of the joint action space, and there is a matching exponential lower bound. This paper investigates what learning goals admit better sample complexities in the setting of $m$-player general-sum Markov games with $H$ steps, $S$ states, and $A_i$ actions per player. First, we design algorithms for learning an $ε$-Coarse Correlated Equilibrium (CCE) in $\widetilde{\mathcal{O}}(H^5S\max_{i\le m} A_i / ε^2)$ episodes, and an $ε$-Correlated Equilibrium (CE) in $\widetilde{\mathcal{O}}(H^6S\max_{i\le m} A_i^2 / ε^2)$ episodes. This is the first line of results for learning CCE and CE with sample complexities polynomial in $\max_{i\le m} A_i$. Our algorithm for learning CE integrates an adversarial bandit subroutine which minimizes a weighted swap regret, along with several novel designs in the outer loop. Second, we consider the important special case of Markov Potential Games, and design an algorithm that learns an $ε$-approximate Nash equilibrium within $\widetilde{\mathcal{O}}(S\sum_{i\le m} A_i / ε^3)$ episodes (when only highlighting the dependence on $S$, $A_i$, and $ε$), which only depends linearly in $\sum_{i\le m} A_i$ and significantly improves over existing efficient algorithm in the $ε$ dependence. Overall, our results shed light on what equilibria or structural assumptions on the game may enable sample-efficient learning with many players.

研究动机与目标

• 识别在多玩家通用和博弈马尔可夫游戏中，哪些均衡概念或博弈结构能够实现样本高效的均衡学习。
• 克服纳什均衡学习中联合动作空间大小带来的指数级样本复杂度瓶颈。
• 设计出对个体动作数量呈多项式依赖而非指数乘积依赖的算法。
• 在结构化博弈中，改善纳什均衡学习的ε依赖关系在样本复杂度中的表现。

提出的方法

• 将Nash V-Learning方法拓展至多玩家设置，提出CCE-V-Learning，结合值函数估计与策略更新。
• 设计CE-V-Learning，采用混合专家的Follow-The-Regularized-Leader子程序，以在对抗性Bandit框架中最小化加权交换遗憾。
• 提出针对具有可预测权重的对抗性Bandit与加权交换遗憾的新分析方法，实现低遗憾学习。
• 通过势函数分解，将马尔可夫势博弈中的纳什均衡学习问题转化为单智能体强化学习问题。
• 采用带时间变化权重与正则化的加权遗憾最小化框架，确保收敛至相关均衡。
• 利用并集界与鞅集中不等式，控制策略梯度与值函数更新中的估计误差。

实验结果

研究问题

• RQ1 我们能否在通用和博弈马尔可夫游戏中，以在每名玩家动作数上呈多项式依赖的样本复杂度，学习到粗相关均衡（CCE）？
• RQ2 在大规模玩家博弈中，我们能否实现比纳什均衡更优的样本复杂度来学习相关均衡（CE）？
• RQ3 博弈中的结构性假设（如马尔可夫势博弈）是否能显著改善纳什均衡学习的样本复杂度？
• RQ4 我们能否在纳什均衡学习中，将样本复杂度中的ε依赖关系改进至优于现有1/ε⁶的界限？

主要发现

• CCE-V-Learning算法在ε-近似CCE上的样本复杂度为Õ(H⁵S maxᵢAᵢ / ε²)，在maxᵢAᵢ上呈多项式依赖。
• CE-V-Learning算法在Õ(H⁶S maxᵢAᵢ² / ε²)个episode内学习到ε-近似CE，是首个实现动作数多项式依赖的此类结果。
• 在马尔可夫势博弈中，Nash-CA算法在Õ(S ∑ᵢAᵢ / ε³)个episode内学习到ε-近似纳什均衡，相比先前工作的1/ε⁶依赖关系有显著改进。
• CE学习算法集成了新颖的对抗性Bandit子程序，可最小化具有可预测权重的加权交换遗憾。
• 该分析引入了在具有可预测权重的对抗性Bandit中加权遗憾与加权交换遗憾的新结果，具有独立研究价值。
• 本文证明，如势博弈等结构性假设可极大降低样本复杂度，即使在大量玩家参与的情况下亦然。