[论文解读] Policy Gradient Search: Online Planning and Expert Iteration without Search Trees

Thomas Anthony, Robert Nishihara+3 more|arXiv (Cornell University)|Apr 7, 2019

Artificial Intelligence in Games参考文献 30被引用 18

一句话总结

本文提出策略梯度搜索（PGS），一种无需搜索树的在线规划算法，通过策略梯度更新在搜索过程中在线调整神经网络模拟策略，从而消除对显式搜索树的依赖。PGS在9×9和13×13 Hex游戏中实现了与蒙特卡洛树搜索（MCTS）相当的性能，当与专家迭代（Expert Iteration）结合时，生成了首个无需使用搜索树或先验Hex知识即可击败MoHex 2.0的纯随机初始化智能体。

ABSTRACT

Monte Carlo Tree Search (MCTS) algorithms perform simulation-based search to improve policies online. During search, the simulation policy is adapted to explore the most promising lines of play. MCTS has been used by state-of-the-art programs for many problems, however a disadvantage to MCTS is that it estimates the values of states with Monte Carlo averages, stored in a search tree; this does not scale to games with very high branching factors. We propose an alternative simulation-based search method, Policy Gradient Search (PGS), which adapts a neural network simulation policy online via policy gradient updates, avoiding the need for a search tree. In Hex, PGS achieves comparable performance to MCTS, and an agent trained using Expert Iteration with PGS was able defeat MoHex 2.0, the strongest open-source Hex agent, in 9x9 Hex.

研究动机与目标

• 解决蒙特卡洛树搜索（MCTS）在高分支因子环境（如具有大动作空间或连续动作空间的游戏）中的可扩展性限制。
• 开发一种无需依赖搜索树或表格值函数的搜索算法，可在搜索过程中在线自适应其模拟策略。
• 在MCTS因内存或计算资源限制而不可行的环境中，实现有效的在线规划与训练。
• 证明基于策略梯度的搜索可实现与MCTS相当的性能，并在无需先验领域知识或搜索树的情况下，为Hex等游戏构建强大智能体。

提出的方法

• PGS使用神经网络作为模拟策略，在每次搜索迭代期间通过策略梯度强化学习在线更新该策略。
• 与MCTS不同，PGS不维护搜索树中的访问次数或价值估计，避免了对状态价值表格存储的需求。
• 通过在当前搜索中采样轨迹，对期望回报执行随机梯度上升，采用类似REINFORCE的更新方式改进模拟策略。
• PGS集成到专家迭代（ExIt）框架中，自对弈生成的对局使用自适应的PGS策略进行模拟，生成的策略被蒸馏到一个全局策略网络中。
• 通过函数逼近在搜索过程中实现状态的泛化，即使状态仅被访问一次，也能实现有效学习。
• PGS在测试时规划和训练场景中均进行了评估，与9×9和13×13 Hex中的MCTS和蒙特卡洛搜索（MCS）进行了对比。

实验结果

研究问题

• RQ1 基于策略梯度的搜索算法是否能在不使用搜索树的情况下，在高分支因子游戏（如Hex）中实现与MCTS相当的性能？
• RQ2 PGS是否能在因内存或计算资源限制而使MCTS不可行的环境中实现强大的在线规划？
• RQ3 将PGS与专家迭代结合是否能生成一个强大智能体，使其在不使用搜索树或先验游戏知识的情况下击败MoHex 2.0等强基线？
• RQ4 与使用固定模拟策略的蒙特卡洛搜索（MCS）相比，PGS在规划强度和样本效率方面表现如何？

主要发现

• PGS在9×9和13×13 Hex游戏中均实现了与MCTS相当的性能，显著优于测试时规划中的蒙特卡洛搜索（MCS）。
• PGS-ExIt在9×9 Hex中以375–273的胜率（每手先手棋下4局）击败MoHex 2.0，获得55 Elo优势，是首个无需使用搜索树即可实现此成就的纯随机初始化智能体。
• 消融实验表明，PGS-ExIt在ExIt框架内显著优于MCS，证实了自适应模拟策略的优势。
• 结果表明，MCTS-ExIt优于传统策略迭代，且PGS-ExIt可在无需先验Hex知识或搜索树结构的情况下生成强大智能体。
• PGS在测试时规划和训练中均表现有效，表明在搜索过程中进行策略梯度自适应可实现在复杂环境中可扩展且泛化能力强的规划。