[论文解读] Solving imperfect-information games via exponential counterfactual regret minimization

Huale Li, Xuan Wang+5 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Bandit Algorithms Research参考文献 20被引用 8

一句话总结

本文提出了一种基于CFR的新方法——指数反事实遗憾最小化（ECFR），通过在遗憾值上应用指数加权，优先考虑遗憾值更高的动作，从而在不完全信息博弈中加速收敛。ECFR在Kuhn扑克、Leduc扑克和皇家扑克中均实现了比当前最先进CFR变体更快的收敛速度和更低的可被利用性，且具有理论收敛保证。

ABSTRACT

In general, two-agent decision-making problems can be modeled as a two-player game, and a typical solution is to find a Nash equilibrium in such game. Counterfactual regret minimization (CFR) is a well-known method to find a Nash equilibrium strategy in a two-player zero-sum game with imperfect information. The CFR method adopts a regret matching algorithm iteratively to reduce regret values progressively, enabling the average strategy to approach a Nash equilibrium. Although CFR-based methods have achieved significant success in the field of imperfect information games, there is still scope for improvement in the efficiency of convergence. To address this challenge, we propose a novel CFR-based method named exponential counterfactual regret minimization (ECFR). With ECFR, an exponential weighting technique is used to reweight the instantaneous regret value during the process of iteration. A theoretical proof is provided to guarantees convergence of the ECFR algorithm. The result of an extensive set of experimental tests demostrate that the ECFR algorithm converges faster than the current state-of-the-art CFR-based methods.

研究动机与目标

• 为解决原始反事实遗憾最小化（CFR）在不完全信息博弈中收敛缓慢的问题。
• 提升在不完全信息下的两人零和博弈中寻找纳什均衡策略的效率。
• 开发一种CFR变体，加速收敛同时不牺牲收敛保证。
• 在多种博弈类型中实证验证该方法在收敛速度和可被利用性方面的优越性。

提出的方法

• ECFR引入了一种指数加权技术，在迭代过程中重新加权瞬时遗憾值，突出显示遗憾值更高的动作。
• 该方法使用平均遗憾值作为阈值，筛选并优先处理高优势动作。
• 与传统方法不同，ECFR保留并加权负的遗憾值，而非将其设为零。
• 算法通过参数β控制指数加权，最优设置通过消融实验确定。
• 提供了理论证明，表明ECFR可收敛至纳什均衡，保持与标准CFR相同的理论基础。
• 该方法将指数遗憾加权集成到标准CFR框架中，修改了遗憾匹配的更新规则。

实验结果

研究问题

• RQ1 对遗憾值应用指数加权是否能在保持收敛保证的前提下，加速不完全信息博弈中的收敛？
• RQ2 β参数的选择如何影响ECFR算法的收敛速度和可被利用性？
• RQ3 ECFR在多种不完全信息博弈中是否在收敛速率和策略质量方面均优于当前最先进CFR方法？
• RQ4 与传统方法相比，在策略更新过程中包含负遗憾值会产生何种影响？

主要发现

• 在相同迭代次数下，ECFR在Kuhn扑克、Leduc扑克和皇家扑克中均比当前最先进CFR方法收敛更快。
• β的最优设置被确定为−r²，该设置在Kuhn和Leduc扑克中均持续优于其他设置。
• 引入β显著提升了性能，ECFR在β设置下，Kuhn扑克中100轮后、Leduc扑克中750轮后均优于无β的ECFR。
• 在消融研究中，β = −0.0001和β = −r²表现优异，其中β = −r²在Kuhn和Leduc游戏中均取得最佳结果。
• ECFR在所有测试游戏中均实现了最低的可被利用性，展现出更优的策略质量和更快的收敛速度。
• 理论分析证实，ECFR保持了收敛至纳什均衡的性质，确保了鲁棒性与可靠性。