[论文解读] POLY-HOOT: Monte-Carlo Planning in Continuous Space MDPs with Non-Asymptotic Analysis

Weichao Mao, Kaiqing Zhang+2 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出 POLY-HOOT，一种用于连续状态马尔可夫决策过程（MDPs）的蒙特卡洛规划算法，该算法将蒙特卡洛树搜索（MCTS）与分层乐观优化（HOO）的多项式奖励变体相结合。通过用多项式奖励替代标准对数奖励以处理非平稳奖励，POLY-HOOT 实现了在多项式速率下对最优值函数任意小邻域的非渐近收敛，且经验验证表明其在样本效率和鲁棒性方面优于离散化和对数奖励基线方法。

ABSTRACT

Monte-Carlo planning, as exemplified by Monte-Carlo Tree Search (MCTS), has demonstrated remarkable performance in applications with finite spaces. In this paper, we consider Monte-Carlo planning in an environment with continuous state-action spaces, a much less understood problem with important applications in control and robotics. We introduce POLY-HOOT, an algorithm that augments MCTS with a continuous armed bandit strategy named Hierarchical Optimistic Optimization (HOO) (Bubeck et al., 2011). Specifically, we enhance HOO by using an appropriate polynomial, rather than logarithmic, bonus term in the upper confidence bounds. Such a polynomial bonus is motivated by its empirical successes in AlphaGo Zero (Silver et al., 2017b), as well as its significant role in achieving theoretical guarantees of finite space MCTS (Shah et al., 2019). We investigate, for the first time, the regret of the enhanced HOO algorithm in non-stationary bandit problems. Using this result as a building block, we establish non-asymptotic convergence guarantees for POLY-HOOT: the value estimate converges to an arbitrarily small neighborhood of the optimal value function at a polynomial rate. We further provide experimental results that corroborate our theoretical findings.

研究动机与目标

• 解决连续状态和连续动作 MDP 中蒙特卡洛规划缺乏理论保证的问题。
• 克服预设动作离散化带来的局限性，该方法在计算成本与解的最优性之间存在权衡。
• 改进现有连续 MCTS 方法（如 HOOT），后者使用对数奖励项且缺乏强有力的理论收敛保证。
• 通过分析非平稳多臂赌博机设置下的遗憾，建立 MCTS 在连续空间中的非渐近收敛速率。
• 通过在基准控制环境上的实证评估验证理论改进。

提出的方法

• 在上置信度边界中增强 HOO 赌博机策略，引入多项式奖励项，替代标准对数奖励，以更好地处理非平稳奖励。
• 将增强的 HOO 策略集成到 MCTS 中，形成 POLY-HOOT，以实现在连续动作空间中的自适应、分层划分。
• 将价值函数预言机在所有状态下设为零，以独立评估规划性能，避免价值估计偏差的影响。
• 在 PUCT 中采用平方根增长系数的渐进拓宽策略以实现公平比较，同时在所有算法中保持固定的 MCTS 深度和仿真次数。
• 为 POLY-HOOT 设置关键算法参数，如 ρ = 1/4^m，ν₁ = 4m，以及 α=5，ξ=20，η=0.5，同时将 HOO 树深度上限设为 H̄=10。
• 在评估中对仿真轮次采用对数尺度，以评估各算法的样本复杂度和收敛速度。

实验结果

研究问题

• RQ1 基于 HOO 的 MCTS 中使用多项式奖励是否能确保在具有非平稳奖励的连续 MDP 中实现非渐近收敛？
• RQ2 增强的 HOO 策略在非平稳赌博机问题中的遗憾集中速率如何？
• RQ3 POLY-HOOT 是否比离散化-UCT 和采用渐进拓宽的 PUCT 具有更快的收敛速度和更高的样本效率？
• RQ4 离散化-UCT 的性能对动作离散化级别选择的敏感性如何？
• RQ5 POLY-HOOT 是否在理论上和实践中均优于使用对数奖励的 HOOT？

主要发现

• POLY-HOOT 实现了以多项式速率对最优值函数任意小邻域的非渐近收敛，提供了强有力的理论保证。
• 采用多项式奖励的增强 HOO 策略在非平稳赌博机问题中表现出更优的遗憾集中特性，构成了 POLY-HOOT 收敛的理论基础。
• 在 CartPole 和 CartPole-IG 任务中，POLY-HOOT 和 HOOT 所需的仿真轮次显著少于离散化-UCT 和 PUCT，即可达到最优奖励。
• 离散化-UCT 的性能对动作离散化级别的选择高度敏感，更细的网格并未带来一致的性能提升，且在粒度微小变化时表现出高奖励波动。
• 结果表明，POLY-HOOT 通过 HOO 实现的自适应划分，相比固定且预设的离散化，具有更优的样本复杂度和鲁棒性。
• 实证结果与理论分析一致，表明 POLY-HOOT 在收敛速度和稳定性方面均优于离散化-UCT 和 HOOT。