[论文解读] Solving Large Sequential Games with the Excessive Gap Technique

Christian Kroer, Gabriele Farina+1 more|arXiv (Cornell University)|Oct 7, 2018

Artificial Intelligence in Games被引用 17

一句话总结

本文提出了一种实用的、基于GPU加速的过度间隙技术（EGT）变体，采用扩张熵距离函数来求解大规模序列博弈，在真实世界无注额德州扑克终局局面中表现出与计谋后悔最小化（CFR）变体相当的性能。其解的质量在CFR+的两倍范围内，同时保持了理论上更优的1/T收敛速率。

ABSTRACT

There has been tremendous recent progress on equilibrium-finding algorithms for zero-sum imperfect-information extensive-form games, but there has been a puzzling gap between theory and practice. First-order methods have significantly better theoretical convergence rates than any counterfactual-regret minimization (CFR) variant. Despite this, CFR variants have been favored in practice. Experiments with first-order methods have only been conducted on small- and medium-sized games because those methods are complicated to implement in this setting, and because CFR variants have been enhanced extensively for over a decade they perform well in practice. In this paper we show that a particular first-order method, a state-of-the-art variant of the excessive gap technique---instantiated with the dilated entropy distance function---can efficiently solve large real-world problems competitively with CFR and its variants. We show this on large endgames encountered by the Libratus poker AI, which recently beat top human poker specialist professionals at no-limit Texas hold'em. We show experimental results on our variant of the excessive gap technique as well as a prior version. We introduce a numerically friendly implementation of the smoothed best response computation associated with first-order methods for extensive-form game solving. We present, to our knowledge, the first GPU implementation of a first-order method for extensive-form games. We present comparisons of several excessive gap technique and CFR variants.

研究动机与目标

• 弥合一阶方法（FOMs）在理论上的收敛优势与其在大规模序列博弈中实际应用不足之间的差距。
• 证明FOMs，特别是过度间隙技术（EGT）的一种变体，能够高效求解Libratus扑克AI中的真实世界大规模终局问题。
• 为EFG中的关键子程序（如平滑最优响应和近端映射）开发数值稳定且高效的实现方法。
• 通过GPU并行化和激进的步长调优，实现FOMs的实际部署。
• 在真实世界、细粒度抽象的无注额德州扑克上，比较FOMs与CFR变体的表现，表明FOMs在实践中具有竞争力。

提出的方法

• 本文采用最先进的EGT变体，结合扩张熵距离生成函数（DGF），用于建模在广义形式博弈中的策略空间。
• 提出一种数值稳定且高效的算法，用于计算平滑最优响应（SBR），这是EGT在EFG中的一项核心组件。
• 该方法包含针对博弈树优化了数值稳定性和性能的近端映射计算。
• 通过在策略树根部使用笛卡尔积操作，开发了基于GPU的实现，以支持策略更新的并行计算。
• 算法采用激进的步长选择和动态μ平衡策略，以加速收敛。
• 该方法在Libratus扑克AI的终局上进行评估，使用与生产环境完全一致的细粒度下注抽象。

实验结果

研究问题

• RQ1 像EGT这样的首阶方法是否能在大规模真实序列博弈中实际表现优于CFR变体？
• RQ2 通过使用先进的DGF和优化技术，能否使EGT在大规模EFG中实现足够的数值稳定性和高效性？
• RQ3 GPU加速是否能显著提升EGT在广义形式博弈求解中的性能？
• RQ4 当以梯度计算次数而非迭代次数衡量时，EGT的收敛速率与CFR+相比如何？
• RQ5 EGT能否在保持理论上的1/T收敛速率的同时，实现与CFR+相当的实际效率？

主要发现

• 所提出的EGT变体在真实世界Libratus终局中达到的解质量在CFR+的两倍范围内，展现出强大的实际竞争力。
• 在相同测试游戏中，EGT在收敛速度和最终解质量方面优于使用后悔匹配（RM）和RM+的CFR。
• 尽管每次迭代的梯度计算次数更多，EGT仍保持1/T收敛速率，而CFR+在优化后期开始出现减速。
• 以总梯度计算量衡量时，EGT/as和EGT略逊于CFR+，但整体效率依然出色，尤其考虑到其理论收敛保证。
• GPU实现支持策略更新的并行计算，在大规模博弈树上显著加速了算法。
• 作者观察到，通过进一步的参数调优和算法改进，未来EGT可能比CFR+更快。