[论文解读] Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search

Anji Liu, Jianshu Chen+4 more|arXiv (Cornell University)|Oct 28, 2018

Artificial Intelligence in Games参考文献 35被引用 4

一句话总结

本文提出WU-UCT，一种新颖的并行蒙特卡洛树搜索（MCTS）算法，通过一种新的统计机制追踪未观测到的（不完整）模拟查询，实现线性加速。通过修改UCT树策略以整合这些未观测样本，WU-UCT在并行模拟过程中保持了有效的探索-利用权衡，与以往的并行MCTS方法相比，显著降低了性能损失。

ABSTRACT

Monte Carlo Tree Search (MCTS) algorithms have achieved great success on many challenging benchmarks (e.g., Computer Go). However, they generally require a large number of rollouts, making their applications costly. Furthermore, it is also extremely challenging to parallelize MCTS due to its inherent sequential nature: each rollout heavily relies on the statistics (e.g., node visitation counts) estimated from previous simulations to achieve an effective exploration-exploitation tradeoff. In spite of these difficulties, we develop an algorithm, WU-UCT, to effectively parallelize MCTS, which achieves linear speedup and exhibits only limited performance loss with an increasing number of workers. The key idea in WU-UCT is a set of statistics that we introduce to track the number of on-going yet incomplete simulation queries (named as unobserved samples). These statistics are used to modify the UCT tree policy in the selection steps in a principled manner to retain effective exploration-exploitation tradeoff when we parallelize the most time-consuming expansion and simulation steps. Experiments on a proprietary benchmark and the Atari Game benchmark demonstrate the linear speedup and the superior performance of WU-UCT comparing to existing techniques.

研究动机与目标

• 为解决MCTS并行化问题，该问题由于依赖累积统计信息来实现探索-利用权衡而本质上是顺序的。
• 减少因不完整或并发模拟导致的信息丢失所引起的并行MCTS性能退化。
• 开发一种实用且高效的并行MCTS算法，实现接近线性的加速，同时不牺牲决策质量。
• 实现在游戏AI和移动游戏中用户行为预测等实际应用中的可扩展、高性能规划。

提出的方法

• 引入一组新的统计量，用于追踪正在进行的、未完成的模拟查询数量——称为“未观测样本”，以在并行化过程中保留信息。
• 在选择阶段修改UCT树策略，通过整合观测到的和未观测样本的统计量，以维持探索与利用之间的平衡。
• 在树遍历中采用虚拟损失机制，以防止竞争条件，并确保在异步模拟过程中的一致策略更新。
• 采用结合树并行与根并行的混合并行策略，通过动态工作负载分配实现跨工作节点的负载均衡。
• 实现一种回溯机制，通过有原则地调整访问次数和价值估计，以考虑未观测样本的影响。
• 在真实移动游戏“Joy City”的用户通过率预测中投入生产环境，验证了其在实际场景中的可扩展性与准确性。

实验结果

研究问题

• RQ1 我们能否在最小化并行化导致的性能退化的同时，实现MCTS的线性加速？
• RQ2 当多个模拟同时执行时，如何保持探索-利用权衡？
• RQ3 在并行MCTS环境中，需要哪些统计量来处理不完整的模拟？
• RQ4 对UCT策略进行简单而合理的修改，是否能在高并行度下维持性能？
• RQ5 在真实环境和基准测试中，该方法与现有并行MCTS技术相比表现如何？

主要发现

• 在专有的“Joy City”基准和Atari游戏基准上，WU-UCT均实现了接近线性的加速，且随着工作节点数量增加，性能损失极小。
• 在“Joy City”基准上，WU-UCT在预测用户通过率方面优于现有并行MCTS方法，展现出更高的准确性和效率。
• 得益于未观测样本追踪机制，该算法即使在高并行度下也能保持稳定且有效的探索-利用权衡。
• 实验表明，与TreeP和RootP等基线方法相比，WU-UCT的性能损失显著更低，尤其是在大规模场景下。
• 虚拟损失机制成功防止了并发模拟过程中动作价值的高估，提升了收敛性和稳定性。
• 该方法已成功投入生产环境，显著缩短了真实移动游戏中关卡进度设计的周期时间。