[论文解读] Re-determinizing Information Set Monte Carlo Tree Search in Hanabi

James Goodman|arXiv (Cornell University)|Feb 16, 2019

Artificial Intelligence in Games参考文献 34被引用 10

一句话总结

本文提出了一种名为重确定化信息集蒙特卡洛树搜索（Re-determinizing IS-MCTS, RIS-MCTS）的新方法，作为信息集蒙特卡洛树搜索（IS-MCTS）的扩展，通过从当前行动玩家的视角在每个节点重新确定化对手的手牌状态，有效防止了在《花火》（Hanabi）游戏中因隐藏信息泄露而导致的问题。通过避免将根玩家对他人手牌的知识传播至对手模型中，RIS-MCTS 在使用学习型评估函数替代完整模拟的前提下，实现了在 40ms 每步时间限制下的最先进性能，优于以往在 2–4 名玩家游戏中的研究成果。

ABSTRACT

This technical report documents the winner of the Computational Intelligence in Games(CIG) 2018 Hanabi competition. We introduce Re-determinizing IS-MCTS, a novel extension of Information Set Monte Carlo Tree Search (IS-MCTS) that prevents a leakage of hidden information into opponent models that can occur in IS-MCTS, and is particularly severe in Hanabi. Re-determinizing IS-MCTS scores higher in Hanabi for 2-4 players than previously published work at the time of the competition. Given the 40ms competition time limit per move we use a learned evaluation function to estimate leaf node values and avoid full simulations during MCTS. For the Mixed track competition, in which the identity of the other players is unknown, a simple Bayesian opponent model is used that is updated as each game proceeds.

研究动机与目标

• 为解决由于隐藏卡牌知识不对称而引发的 IS-MCTS 在《花火》中严重的知识泄露问题。
• 通过确保对手模型不继承根玩家对他人手牌的知识，提升《花火》中的合作性游戏表现。
• 在严格的 40ms 时间约束下，使用学习型评估函数替代完整模拟，实现高效的 MCTS。
• 将 IS-MCTS 扩展至处理具有类似隐藏信息结构的不完美信息游戏，特别是存在非局部依赖关系的游戏。
• 研究 RIS-MCTS 中的理论缺陷，尤其是由于不兼容的确定化方式导致的不可能游戏状态在反向传播中的问题。

提出的方法

• 重确定化 IS-MCTS 在每个节点从当前行动玩家的视角重新采样隐藏卡牌状态，防止根玩家的知识泄露至对手模型中。
• 该算法使用单一 MCTS 树，并在每个节点采用重确定化的游戏状态，避免了对独立对手 IS-MCTS 树的需求。
• 采用学习型评估函数估算叶节点的值，从而消除完整模拟的需要，实现在 40ms 内的快速决策。
• 基于规则的启发式方法限制动作空间，以降低搜索复杂度并提升效率。
• 通过离线 RIS-MCTS 游戏数据对评估函数进行迭代训练，利用不仅限于根节点的完整树统计信息。
• 在混合模式（Mixed track）中，动态更新贝叶斯对手模型，以推断未知智能体的策略。

实验结果

研究问题

• RQ1 IS-MCTS 中的隐藏信息泄露在《花火》中如何降低性能？其成因是什么？
• RQ2 在每个节点对隐藏信息进行重确定化，是否能有效防止信息泄露，并改善合作性不完美信息游戏中的对手建模？
• RQ3 在严格时间约束下，学习型评估函数在多大程度上可以替代完整模拟，同时保持强性能？
• RQ4 RIS-MCTS 的理论局限性是什么，特别是由于不兼容的确定化方式导致的不可能游戏状态在反向传播中的问题？
• RQ5 如何对 MCTS 进行改进，以维持信念状态，并在信息集中支持超越均匀分布的更复杂推理？

主要发现

• 在 2–4 名玩家的游戏场景下，RIS-MCTS 在 40ms 每步时间限制内，得分高于以往发表的工作。
• 该方法通过从当前行动玩家视角在每个节点重确定化隐藏卡牌，有效防止了信息泄露，避免了策略融合。
• 使用学习型评估函数使系统能够避免完整模拟，实现实时性能，满足 40ms 的时间约束。
• 尽管存在理论缺陷，RIS-MCTS 仍优于原始 IS-MCTS，并在 CIG 2018 《花火》竞赛的镜像赛道（Mirror track）中取得了最先进结果。
• 在更高计算预算下观察到的性能下降，归因于由于不兼容的确定化方式导致的不可能游戏结果被反向传播。
• 该方法可推广至其他具有类似隐藏信息结构的不完美信息游戏，但需进一步工作以解决非局部性与信念状态精细化问题。