[论文解读] Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents

Richard G. Gibson|arXiv (Cornell University)|Apr 30, 2013

Artificial Intelligence in Games参考文献 24被引用 8

一句话总结

本文为非零和博弈中的后悔最小化建立了理论基础，证明了反事实后悔最小化（CFR）会逐步消除严格支配策略。论文提出一种改进的CFR变体，仅使用当前策略组合（而非平均值），将内存使用量减少一半，计算时间减少75%，同时保持性能不变，从而使得使用更精细抽象的更强多玩家扑克智能体成为可能。

ABSTRACT

In two-player zero-sum games, if both players minimize their average external regret, then the average of the strategy profiles converges to a Nash equilibrium. For n-player general-sum games, however, theoretical guarantees for regret minimization are less understood. Nonetheless, Counterfactual Regret Minimization (CFR), a popular regret minimization algorithm for extensive-form games, has generated winning three-player Texas Hold'em agents in the Annual Computer Poker Competition (ACPC). In this paper, we provide the first set of theoretical properties for regret minimization algorithms in non-zero-sum games by proving that solutions eliminate iterative strict domination. We formally define \emph{dominated actions} in extensive-form games, show that CFR avoids iteratively strictly dominated actions and strategies, and demonstrate that removing iteratively dominated actions is enough to win a mock tournament in a small poker game. In addition, for two-player non-zero-sum games, we bound the worst case performance and show that in practice, regret minimization can yield strategies very close to equilibrium. Our theoretical advancements lead us to a new modification of CFR for games with more than two players that is more efficient and may be used to generate stronger strategies than previously possible. Furthermore, we present a new three-player Texas Hold'em poker agent that was built using CFR and a novel game decomposition method. Our new agent wins the three-player events of the 2012 ACPC and defeats the winning three-player programs from previous competitions while requiring less resources to generate than the 2011 winner. Finally, we show that our CFR modification computes a strategy of equal quality to our new agent in a quarter of the time of standard CFR using half the memory.

研究动机与目标

• 为非零和博弈中的后悔最小化提供理论保证，而此前的研究缺乏此类理论基础。
• 在序列型博弈中正式定义并分析迭代严格支配动作与策略。
• 为多玩家博弈开发一种改进的CFR算法，提升效率而不牺牲性能。
• 将改进的算法应用于构建资源需求更低的冠军级三人德州扑克扑克智能体。
• 证明移除迭代支配动作足以在小型扑克游戏中获胜，从而验证理论方法的有效性。

提出的方法

• 论文在序列型博弈中正式定义了迭代严格支配动作，并证明在温和条件下CFR会避免此类动作。
• 证明在标准型博弈中，后悔最小化会消除迭代严格支配策略。
• 针对双人非零和博弈，论文界定了平均策略组合的最坏情况性能，表明其在实践中仍接近均衡状态。
• 提出一种新颖的CFR改进方法，放弃使用平均策略组合，仅依赖当前策略组合，使内存使用减少一半，计算速度提升75%。
• 通过游戏分解技术，根据战略重要性动态调整抽象质量，提升大规模博弈中的效率。
• 通过使用改进的CFR构建的新三人德州扑克智能体，在年度计算机扑克竞赛中进行了验证。

实验结果

研究问题

• RQ1 非零和博弈中的后悔最小化算法能否通过逐步消除迭代严格支配策略而获得理论支持？
• RQ2 CFR在序列型博弈中是否会避免使用或学习迭代严格支配的策略？
• RQ3 一种仅使用当前策略组合而非平均值的改进CFR算法，能否在减少内存和时间消耗的同时实现相当或更优的性能？
• RQ4 在小型扑克游戏中，移除迭代支配动作是否足以产生强策略？
• RQ5 由于内存使用减少，改进的CFR能否通过更精细的抽象实现更强的多玩家扑克智能体？

主要发现

• 本文证明，在标准型博弈中，后悔最小化会消除迭代严格支配策略，为该方法在一般和博弈中的应用提供了理论基础。
• 在序列型博弈中，CFR在标准条件下会避免使用迭代严格支配的动作与策略，验证了其鲁棒性。
• 在双人非零和博弈中，后悔最小化产生的平均策略组合与均衡状态的距离有界，实证结果表明其性能接近均衡。
• 改进的CFR算法仅使用当前策略组合，计算时间缩短至标准CFR的四分之一，内存使用减少一半，同时保持同等策略质量。
• 使用改进CFR和游戏分解技术构建的新三人德州扑克智能体，在2012年ACPC三人比赛项目中夺冠，且资源消耗低于以往冠军。
• 在小型扑克游戏中，仅通过移除迭代支配动作即足以赢得模拟锦标赛，证明了理论成果的实际影响。