[论文解读] Solving Large Imperfect Information Games Using CFR+

Oskari Tammelin|arXiv (Cornell University)|Jul 18, 2014

Artificial Intelligence in Games参考文献 3被引用 31

一句话总结

本文提出 CFR+，一种新算法，可显著加速求解大型不完美信息博弈（如德州扑克）的收敛速度。通过用新型的 regret-matching+ 策略更新替代标准 regret-matching，CFR+ 相较于原始 CFR 实现了超过一个数量级的收敛加速，同时减少内存占用并提升后悔数据的可压缩性。

ABSTRACT

Counterfactual Regret Minimization and variants (e.g. Public Chance Sampling CFR and Pure CFR) have been known as the best approaches for creating approximate Nash equilibrium solutions for imperfect information games such as poker. This paper introduces CFR$^+$, a new algorithm that typically outperforms the previously known algorithms by an order of magnitude or more in terms of computation time while also potentially requiring less memory.

研究动机与目标

• 开发一种更高效的算法，用于求解大规模不完美信息博弈，尤其适用于存在隐藏信息的扑克类游戏。
• 解决现有反事实后悔最小化（CFR）变体的计算低效问题，这些变体需要大量迭代才能收敛。
• 通过消除负后悔值的累积，减少内存占用并提升数据可压缩性。
• 实现更快收敛至近似纳什均衡，而无需策略平均，从而简化实现并提升性能。

提出的方法

• CFR+ 采用向量形式的交替更新机制，每轮迭代仅更新一位玩家。
• 它用一种新变体——regret-matching+ 替代标准 regret-matching，通过最大正值更新规则计算累积反事实后悔值：$ R^{+,T}_{i}(I,a) = \max\{ R^{+,T-1}_{i}(I,a) + v_{i}(\sigma^{T}_{I\rightarrow a},I) - v_{i}(\sigma^{T},I), 0 \} $。
• 策略更新方式为：若分母为正，则 $ \sigma^{T+1} = \frac{R^{+,T}_{i}(I,a)}{\sum_{a'\in A(I)} R^{+,T}_{i}(I,a')} $，否则采用均匀分布。
• 与 CFR 不同，CFR+ 无需对迭代过程进行平均；当前策略可直接收敛至近似纳什均衡。
• 采用延迟为 $ d $ 的加权平均方案，其中权重为 $ w^T = \max\{T - d, 0\} $，以进一步加速收敛。
• 该算法利用了大量后悔值保持为零的事实，通过算术编码和上下文建模等技术实现高数据压缩率。

实验结果

研究问题

• RQ1 与标准 CFR 相比，改进的后悔匹配算法是否能显著提升求解大型不完美信息博弈的收敛速度？
• RQ2 在 CFR 中消除策略平均需求是否能实现更快收敛并降低内存占用？
• RQ3 新的 regret-matching+ 机制在多大程度上减少了负后悔值的累积，并提升了数据可压缩性？
• RQ4 在真实世界博弈实例（如无注额德州扑克翻牌子游戏）中，CFR+ 相较于原始 CFR 表现如何？
• RQ5 新算法是否能在显著减少计算时间的同时，维持或改善可被利用性的降低？

主要发现

• 在不同牌组大小的一张牌扑克中，CFR+ 的收敛速度比原始 CFR 快一个数量级以上。
• 在无注额德州扑克翻牌子游戏中，CFR+ 将达到 5 毫注额可利用性的迭代次数减少了 10 倍以上，相较原始 CFR。
• CFR+ 中的当前策略在实验中可直接收敛至近似纳什均衡，从而无需策略平均。
• CFR+ 通过避免负后悔值的无限累积，显著降低了内存占用。
• 该算法的后悔值数据结构具有极高的可压缩性，利用先进编码技术可实现超过 90% 的压缩率。
• 采用延迟 $ d $ 的加权平均方案可进一步提升收敛速度，尤其在训练后期表现更优。