[论文解读] POMDP-lite for Robust Robot Planning under Uncertainty

Min Chen, Emilio Frazzoli+2 more|arXiv (Cornell University)|Feb 16, 2016

Reinforcement Learning in Robotics参考文献 23被引用 4

一句话总结

本文提出了 POMDP-lite，这是一个可处理的 POMDP 子类，其中隐藏状态为静态或确定性变化，通过与以隐藏参数为索引的一组 MDP 等价，实现高效规划。作者提出了一种基于模型的贝叶斯强化学习算法，实现了接近贝叶斯最优性，并在最大规模达 10^20 个状态的问题上优于当前最先进的 POMDP 求解器。

ABSTRACT

The partially observable Markov decision process (POMDP) provides a principled general model for planning under uncertainty. However, solving a general POMDP is computationally intractable in the worst case. This paper introduces POMDP-lite, a subclass of POMDPs in which the hidden state variables are constant or only change deterministically. We show that a POMDP-lite is equivalent to a set of fully observable Markov decision processes indexed by a hidden parameter and is useful for modeling a variety of interesting robotic tasks. We develop a simple model-based Bayesian reinforcement learning algorithm to solve POMDP-lite models. The algorithm performs well on large-scale POMDP-lite models with up to $10^{20}$ states and outperforms the state-of-the-art general-purpose POMDP algorithms. We further show that the algorithm is near-Bayesian-optimal under suitable conditions.

研究动机与目标

• 解决在大规模机器人规划不确定性下一般 POMDP 的计算不可行性问题。
• 在隐藏状态变量保持恒定或确定性变化时，开发一种可扩展的机器人规划框架。
• 在部分可观察环境中实现高效在线规划，其中系统参数、目标或类型未知但固定。
• 设计一种基于模型的贝叶斯强化学习算法，在适当条件下兼具计算效率和接近最优的贝叶斯性能。
• 在大规模 POMDP-lite 问题上，展示优于当前最先进的通用 POMDP 求解器的性能。

提出的方法

• 将 POMDP-lite 定义为隐藏状态恒定或确定性演化的 POMDP 子类。
• 建立 POMDP-lite 与以隐藏参数为索引的一系列完全可观测 MDP 之间的理论等价性。
• 通过将 POMDP 状态与观测值组合，构建扩展的 MDP 状态，以吸收转移和观测的不确定性。
• 开发一种基于模型的贝叶斯强化学习算法，维护对隐藏参数的信念，并使用贝叶斯推断进行更新。
• 在扩展的 MDP 状态空间中，结合蒙特卡洛树搜索（MCTS）与贝叶斯更新，以平衡探索与利用。
• 在线应用该算法，每步规划时间控制在 1 秒以内，实现在大规模问题上的实时性能。

实验结果

研究问题

• RQ1 是否可以将具有静态或确定性变化隐藏状态的受限 POMDP 类别转换为等价 MDP，以实现高效规划？
• RQ2 如何设计一种贝叶斯强化学习算法，以利用 POMDP-lite 中的 MDP 等价性，实现稳健且接近最优的决策？
• RQ3 在最大规模达 10^20 个状态的大规模问题中，所提算法相较于通用 POMDP 求解器的性能优势有多大？
• RQ4 在连续状态机器人任务（如初始物体位置不确定的杯子抓取）中，该算法表现如何？
• RQ5 POMDP-lite 框架能否有效建模涉及未知参数、目标或人类行为类型的现实世界机器人任务？

主要发现

• 在机器人臂抓取任务中，该算法在模型评估中获得 15.56 ± 0.31 的回报，在 V-REP 仿真中获得 15.46 ± 1.20 的回报，优于 POMCP、DESPOT 和 Mean MDP。
• 在抓取任务中，该算法在模型评估中实现 100% 的成功率，在仿真中达到 98% 的成功率，全面超越所有基线方法。
• 在 Rocksample 和 Battleship 问题中，随着问题规模增大，该算法仍保持强劲性能，而 SARSOP 等离线求解器在更大实例上失效。
• 该算法可有效扩展至规模达 10^20 个状态的 POMDP-lite 模型，而通用 POMDP 求解器在此类规模下变得不可行。
• 在适当条件下，该算法接近贝叶斯最优，兼具理论严谨性与实证优越性。
• POMDP-lite 与以隐藏参数为索引的一系列 MDP 的等价性，使得通过贝叶斯更新与 MCTS 实现高效在线规划成为可能。