[论文解读] Vulcan: A Monte Carlo Algorithm for Large Chance Constrained MDPs with Risk Bounding Functions

B. Ayton, Brian C. Williams|arXiv (Cornell University)|Sep 4, 2018

Bayesian Modeling and Causal Inference被引用 10

一句话总结

Vulcan 为大规模机会约束 MDP 提出了一种蒙特卡洛树搜索算法，通过将全局机会约束分解为每条状态历史的约束，实现了高效、任意时间的策略搜索。它在 3 分钟内求解了 10^13 个状态的 CCMDP，获得接近最优的奖励并保证风险边界，相比线性规划和启发式方法提速 50 至 600 倍。

ABSTRACT

Chance Constrained Markov Decision Processes maximize reward subject to a bounded probability of failure, and have been frequently applied for planning with potentially dangerous outcomes or unknown environments. Solution algorithms have required strong heuristics or have been limited to relatively small problems with up to millions of states, because the optimal action to take from a given state depends on the probability of failure in the rest of the policy, leading to a coupled problem that is difficult to solve. In this paper we examine a generalization of a CCMDP that trades off probability of failure against reward through a functional relationship. We derive a constraint that can be applied to each state history in a policy individually, and which guarantees that the chance constraint will be satisfied. The approach decouples states in the CCMDP, so that large problems can be solved efficiently. We then introduce Vulcan, which uses our constraint in order to apply Monte Carlo Tree Search to CCMDPs. Vulcan can be applied to problems where it is unfeasible to generate the entire state space, and policies must be returned in an anytime manner. We show that Vulcan and its variants run tens to hundreds of times faster than linear programming methods, and over ten times faster than heuristic based methods, all without the need for a heuristic, and returning solutions with a mean suboptimality on the order of a few percent. Finally, we use Vulcan to solve for a chance constrained policy in a CCMDP with over $10^{13}$ states in 3 minutes.

研究动机与目标

• 为解决传统 CCMDP 求解器在大规模状态空间下因全局耦合的机会约束而面临的可扩展性限制。
• 在全状态空间枚举不可行的大规模复杂 MDP 中，实现任意时间的策略合成。
• 将恒定风险边界推广为凹的、非递减的风险边界函数，以反映现实中的风险-收益权衡。
• 开发一种在保证机会约束满足的同时，兼具计算效率和近似最优性的方法。

提出的方法

• 推导出一个充分条件，当应用于每条状态历史时，可确保全局机会约束被满足，从而有效解耦策略优化问题。
• 引入一种风险边界函数，将预期策略奖励映射为最大可接受的失败概率，实现动态风险容忍度。
• 应用基于状态历史特定风险约束的蒙特卡洛树搜索（MCTS），实现在无需完整状态空间探索的前提下逐步构建策略。
• 采用一种考虑状态历史和不确定性传播的奖励评估机制，尤其在探索领域通过高斯过程推理实现。
• 采用一种任意时间搜索策略，在完整探索完成前即可收敛至次优但风险有保障的策略。
• 基于风险边界函数实现剪枝机制，避免在搜索早期探索高风险、低收益的分支。

实验结果

研究问题

• RQ1 能否将蒙特卡洛树搜索算法适配于具有全局风险约束的大规模机会约束 MDP？
• RQ2 能否推导出每条状态历史的风险约束，以确保全局机会约束必然满足？
• RQ3 与固定风险边界相比，使用凹的、非递减的风险边界函数是否能提升风险-收益权衡的表达力与现实性？
• RQ4 Vulcan 在速度和解质量方面与线性规划和基于启发式的方法相比表现如何？
• RQ5 Vulcan 是否能在超过 10^13 个状态的问题上保持风险保障和近似最优性的同时实现可扩展性？

主要发现

• Vulcan 仅用 180 秒即求解了约 3.5 × 10^13 条唯一状态历史的 CCMDP，展现出超越以往方法的可扩展性。
• 在可计算最优解的小规模问题中，其平均次优性仅为百分之几，表现接近最优策略。
• 在类似问题上，Vulcan 的运行速度比基于线性规划的 CCMDP 求解器快 50 至 600 倍。
• 在足够大的问题上，其速度是启发式前向搜索方法的 11.3 倍，且无需任何启发式调参。
• Vulcan 返回的策略成功平衡了风险与收益，表现为仅在预期奖励较高时才进入高风险区域。
• 采用非线性、凹的风险边界函数，实现了随奖励增加而提升的风险容忍度，避免了过度保守或过度激进的行为。