[论文解读] No-Regret Learning in Extensive-Form Games with Imperfect Recall

Marc Lanctot, Richard G. Gibson+3 more|arXiv (Cornell University)|May 3, 2012

Advanced Bandit Algorithms Research参考文献 12被引用 44

一句话总结

该论文通过引入结构良好和偏斜结构良好的博弈，首次为不完美记忆的扩展式博弈中的反事实遗憾最小化（CFR）建立了遗憾边界。证明了在这些博弈中CFR能够实现低平均遗憾，并将这些保证扩展至该类中的抽象博弈，从而在诸如掷骰子扑克、幻影井字棋和Bluff等场景中实现内存高效的训练，同时控制遗憾的增加。

ABSTRACT

Counterfactual Regret Minimization (CFR) is an efficient no-regret learning algorithm for decision problems modeled as extensive games. CFR's regret bounds depend on the requirement of perfect recall: players always remember information that was revealed to them and the order in which it was revealed. In games without perfect recall, however, CFR's guarantees do not apply. In this paper, we present the first regret bound for CFR when applied to a general class of games with imperfect recall. In addition, we show that CFR applied to any abstraction belonging to our general class results in a regret bound not just for the abstract game, but for the full game as well. We verify our theory and show how imperfect recall can be used to trade a small increase in regret for a significant reduction in memory in three domains: die-roll poker, phantom tic-tac-toe, and Bluff.

研究动机与目标

• 为不完美记忆的扩展式博弈中的CFR提供理论遗憾边界，而此前的理论保证不适用于此类情况。
• 定义一个不完美记忆博弈的一般类别——结构良好和偏斜结构良好的博弈，以证明CFR的遗憾最小化在这些情况下依然可被严格证明有效。
• 证明在该类别中的抽象博弈上应用CFR，不仅能保证抽象博弈中的低遗憾，也能保证原始完整博弈中的低遗憾。
• 在三个领域（掷骰子扑克、幻影井字棋和Bluff）中实证验证理论，展示在仅导致遗憾小幅增加的前提下，显著降低内存使用。

提出的方法

• 引入结构良好和偏斜结构良好的博弈，其特征在于信息集和玩家记忆的结构约束。
• 定义条件(i)至(iv)，以确保即使在不完美记忆下，反事实遗憾仍可被有意义地界定。
• 将CFR应用于这些博弈类别，并在较弱假设下证明平均遗憾收敛于零。
• 在每个决策点使用反事实价值和遗憾计算，并通过迭代过程中的加权平均实现遗憾最小化。
• 放宽条件(iii)，允许同构子树即使在信息集被重新记忆的情况下也成立，从而扩大适用范围。
• 在三个游戏的抽象版本上实证评估CFR，通过测量遗憾和内存使用量来验证理论结论。

实验结果

研究问题

• RQ1 尽管先前研究缺乏理论保证，CFR是否能在不完美记忆的扩展式博弈中实现低遗憾？
• RQ2 不完美记忆博弈的何种结构条件可使CFR仍能最小化遗憾？这些条件如何被形式化定义？
• RQ3 在不完美记忆抽象博弈上应用CFR是否能保持原始完整博弈的遗憾边界？
• RQ4 当机会行动不呈比例或信息集不对称时，理论遗憾边界是否仍可扩展至此类博弈？
• RQ5 在实践中，不完美记忆抽象在多大程度上能减少内存使用，同时保持低遗憾？

主要发现

• 在结构良好和偏斜结构良好的博弈中，即使存在不完美记忆，CFR也能实现趋于零的平均遗憾，首次为这类场景中CFR的应用提供了理论依据。
• 当抽象属于偏斜结构良好类别时，CFR在抽象博弈中的遗憾边界同样适用于完整博弈。
• 在掷骰子扑克、幻影井字棋和Bluff中的实证结果表明，不完美记忆抽象能显著降低内存使用，同时仅导致遗憾小幅增加。
• 反例表明，若违反游戏定义的条件(iii)，CFR可能陷入恒定遗憾的死循环，凸显结构约束的必要性。
• 放宽条件(iv)以允许同构子树（即使存在重新记忆）在理论上是合理的，可能扩大适用范围，但实际效益尚不明确。
• 本工作首次建立了在扩展式博弈中不完美记忆的理论基础与实际应用，使大规模博弈中基于CFR的可扩展学习成为可能。