[论文解读] Solving Imperfect Information Games Using Decomposition

Neil Burch, Michael Johanson+1 more|arXiv (Cornell University)|Mar 18, 2013

Artificial Intelligence in Games参考文献 13被引用 7

一句话总结

本文提出了首个在理论上保证的不完美信息博弈分解方法，可将博弈分解为可独立求解的子博弈，同时保持完整博弈的最优性。该文提出CFR-D算法，通过可证明的可被利用性边界重新求解子博弈，实现次线性空间求解，使2人有限德州扑克等大型博弈在仅16GB内存下得以求解，尽管完整策略需要超过200TB的存储空间。

ABSTRACT

Decomposition, i.e. independently analyzing possible subgames, has proven to be an essential principle for effective decision-making in perfect information games. However, in imperfect information games, decomposition has proven to be problematic. To date, all proposed techniques for decomposition in imperfect information games have abandoned theoretical guarantees. This work presents the first technique for decomposing an imperfect information game into subgames that can be solved independently, while retaining optimality guarantees on the full-game solution. We can use this technique to construct theoretically justified algorithms that make better use of information available at run-time, overcome memory or disk limitations at run-time, or make a time/space trade-off to overcome memory or disk limitations while solving a game. In particular, we present an algorithm for subgame solving which guarantees performance in the whole game, in contrast to existing methods which may have unbounded error. In addition, we present an offline game solving algorithm, CFR-D, which can produce a Nash equilibrium for a game that is larger than available storage.

研究动机与目标

• 为解决不完美信息博弈中缺乏理论可靠的分解技术的问题，此前的方法往往牺牲最优性保证。
• 通过将博弈分解为可管理的子博弈，实现高效且内存受限的大规模不完美信息博弈求解。
• 开发一种重新求解技术，确保可被利用性不会高于原始策略。
• 提出CFR-D，一种离线算法，通过子博弈分解计算误差有界的纳什均衡，克服存储限制。
• 通过实证表明，先前不安全的重新求解方法可能导致显著高于理论保证方法的可被利用性。

提出的方法

• 基于信息集和可到达终端状态，提出不完美信息博弈中子博弈的新定义。
• 开发一种重新求解方法，利用反事实值和摘要信息，生成的子博弈策略可被利用性不高于原始策略。
• 在每个子博弈内递归计算最优响应，以计算重新求解所需的反事实值。
• 对主干和子博弈应用CFR算法，通过独立重新求解子博弈来优化策略，同时保持全局最优性保证。
• 使用CFR-D迭代求解主干和子博弈，将总可被利用性边界表示为子博弈、主干和重新求解误差之和。
• 采用策略组合方法，确保完整博弈策略的可被利用性始终在原始策略的可证明边界内。

实验结果

研究问题

• RQ1 不完美信息博弈能否被分解为子博弈，使得独立求解能保持全局最优性和可被利用性边界？
• RQ2 能否设计一种重新求解技术，确保可被利用性不高于原始策略？
• RQ3 是否可能以次线性内存使用求解大型不完美信息博弈（如2人有限德州扑克）并保持理论保证？
• RQ4 在实践中，安全重新求解与不安全重新求解方法的可被利用性表现如何比较？
• RQ5 分解技术能否在不牺牲解质量的前提下，克服博弈求解算法中的存储限制？

主要发现

• 所提出的重新求解方法保证完整博弈策略的可被利用性不会增加，而此前不安全的方法可能显著恶化性能。
• 在Leduc德州扑克实验中，安全重新求解方法在2,000次迭代后将可被利用性从0.382降低至0.23至0.29筹码/手之间，而不安全方法则保持在0.39筹码/手。
• CFR-D使2人有限德州扑克在少于16GB内存下得以求解，尽管完整策略需要超过200TB存储空间。
• CFR-D的可被利用性收敛至由主干和重新求解误差决定的平台，与理论预期一致。
• 不安全重新求解方法尽管在一对一表现中略有优势，但在其他场景中可能显著更易被利用，凸显了误差无界的风险。
• 该方法表明，理论保证不仅可行，而且实际有益，可防止现实应用中性能的无界退化。