[论文解读] Simple Regret Optimization in Online Planning for Markov Decision Processes

Zohar Feldman, Carmel Domshlak|arXiv (Cornell University)|Jun 15, 2012

Data Stream Mining Techniques被引用 5

一句话总结

本文提出 BRUE，一种用于马尔可夫决策过程在线规划的新型蒙特卡洛树搜索算法，可保证简单遗憾和错误概率以指数速率减少。通过采用非标准的状态空间采样方案 MCTS2e（将不同采样部分分配给不同的探索目标），BRUE 在理论和实证性能上均优于当前最先进的方法（如 UCT）。

ABSTRACT

We consider online planning in Markov decision processes (MDPs). In online planning, the agent focuses on its current state only, deliberates about the set of possible policies from that state onwards and, when interrupted, uses the outcome of that exploratory deliberation to choose what action to perform next. The performance of algorithms for online planning is assessed in terms of simple regret, which is the agent's expected performance loss when the chosen action, rather than an optimal one, is followed. To date, state-of-the-art algorithms for online planning in general MDPs are either best effort, or guarantee only polynomial-rate reduction of simple regret over time. Here we introduce a new Monte-Carlo tree search algorithm, BRUE, that guarantees exponential-rate reduction of simple regret and error probability. This algorithm is based on a simple yet non-standard state-space sampling scheme, MCTS2e, in which different parts of each sample are dedicated to different exploratory objectives. Our empirical evaluation shows that BRUE not only provides superior performance guarantees, but is also very effective in practice and favorably compares to state-of-the-art. We then extend BRUE with a variant of "learning by forgetting." The resulting set of algorithms, BRUE(alpha), generalizes BRUE, improves the exponential factor in the upper bound on its reduction rate, and exhibits even more attractive empirical performance.

研究动机与目标

• 解决一般 MDP 在线规划中缺乏具有指数收敛保证的算法的问题。
• 设计一种直接优化简单遗憾减少的算法，而非依赖于累积遗憾等间接指标。
• 开发一种实用且理论基础坚实的在线规划算法，在时间受限条件下仍保持优异性能。
• 探讨“遗忘式学习”对提升在线规划中收敛速度和性能的影响。

提出的方法

• 提出一种新型采样方案 MCTS2e，其中每个样本被划分为不同部分，分别服务于探索和估计两类独立的探索目标。
• 引入 BRUE，一种基于 MCTS2e 的树搜索算法，利用专用样本估计 Q 值并探索动作选择。
• 在所有深度上均衡分配样本，以确保在规划时间有限的情况下仍能最优识别动作。
• 在 BRUE(α) 中引入“遗忘式学习”机制，动态调整样本分配，优先支持更相关节点，从而提升收敛性。
• 采用分层采样策略，将探索与估计解耦，避免标准 MCTS 中固有的权衡问题。
• 推导理论边界，表明简单遗憾和选择错误概率随时间呈指数衰减。

实验结果

研究问题

• RQ1 在线规划算法能否在一般 MDP 中实现简单遗憾和错误概率的指数级减少？
• RQ2 是否必须采用非标准采样方案，将探索与估计解耦，才能实现指数收敛？
• RQ3 “遗忘式学习”机制如何提升在线规划算法的收敛速度和实际性能？
• RQ4 BRUE 是否能在理论保证和实证基准上均优于 UCT 及其他最先进的算法？

主要发现

• BRUE 保证了简单遗憾和错误概率的指数级减少，显著优于以往算法（如 UCT）的多项式速率边界。
• 在标准 MDP 基准上的实证评估表明，BRUE 在收敛速度和最终性能方面均优于 UCT 和 ε-greedy+UCT。
• 包含“遗忘式学习”的 BRUE(α) 变体进一步优化了遗憾边界的指数因子，并展现出更强的实证性能。
• 在 B=6,D=6 和 B=2,D=16 的棋盘树实验中，BRUE 更快超越 UCT，尤其在更深的树中表现更优，证实了其可扩展性和效率。
• 该算法在目标驱动 MDP 和两人零和博弈中也保持了优异性能，表明其适用范围不仅限于有限horizon MDP。