[论文解读] Partially Observable Markov Decision Processes (POMDPs) and Robotics

Hanna Kurniawati|arXiv (Cornell University)|Jul 15, 2021

Reinforcement Learning in Robotics参考文献 77被引用 4

一句话总结

本文综述了部分可观察马尔可夫决策过程（POMDPs）在机器人学中的应用，强调基于采样的近似求解器如何克服了POMDPs长期存在的计算不可行性问题。研究表明，这些方法现已使在不确定、部分可观测环境中实现稳健的实时决策成为可能，从而让POMDPs在导航、操作和人机协作等复杂机器人任务中具备实际应用价值。

ABSTRACT

Planning under uncertainty is critical to robotics. The Partially Observable Markov Decision Process (POMDP) is a mathematical framework for such planning problems. It is powerful due to its careful quantification of the non-deterministic effects of actions and partial observability of the states. But precisely because of this, POMDP is notorious for its high computational complexity and deemed impractical for robotics. However, since early 2000, POMDPs solving capabilities have advanced tremendously, thanks to sampling-based approximate solvers. Although these solvers do not generate the optimal solution, they can compute good POMDP solutions that significantly improve the robustness of robotics systems within reasonable computational resources, thereby making POMDPs practical for many realistic robotics problems. This paper presents a review of POMDPs, emphasizing computational issues that have hindered its practicality in robotics and ideas in sampling-based solvers that have alleviated such difficulties, together with lessons learned from applying POMDPs to physical robots.

研究动机与目标

• 解决POMDPs长期存在的计算不可行性挑战，该问题曾阻碍其在机器人学中的应用。
• 解释基于采样的近似求解器如何显著提升POMDPs在现实机器人问题中的可扩展性和实用性。
• 综述阻碍POMDPs部署的关键计算问题，如大规模状态空间、观测空间、动作空间、长规划时域以及复杂动力学。
• 提出实用的实现策略与软件工具，支持将POMDPs集成到机器人系统中。
• 阐明POMDPs与强化学习之间的协同作用，特别是在基于模型的贝叶斯强化学习和深度学习方法中的应用。

提出的方法

• 使用六元组 $\langle\mathcal{S}, \mathcal{A}, \mathcal{O}, T, Z, R\rangle$ 将不确定性下的机器人规划问题形式化为POMDPs，其中 $\mathcal{S}$、$\mathcal{A}$ 和 $\mathcal{O}$ 分别表示状态空间、动作空间和观测空间。
• 将机器人的信念状态表示为可能状态的概率分布，从而实现在部分可观测环境下的决策。
• 采用基于采样的近似求解器（如蒙特卡洛树搜索、基于点的方法）高效计算近似最优策略，避免精确计算。
• 利用信念空间规划计算既能平衡信息获取又能实现目标的动作，结合动作与观测的随机模型。
• 通过将未知的转移函数和奖励函数建模为部分可观测参数，将POMDPs与强化学习相结合，实现在线信念更新。
• 应用深度学习技术将POMDP结构嵌入神经网络，结合基于模型与无模型学习，提升策略的泛化能力。

实验结果

研究问题

• RQ1 尽管计算复杂度高，POMDPs如何能有效应用于现实世界中的机器人问题？
• RQ2 哪些计算挑战（如大规模状态空间和观测空间）限制了POMDPs在机器人学中的可扩展性？
• RQ3 基于采样的求解器在多大程度上提升了POMDPs在实时机器人决策中的实用性？
• RQ4 POMDPs如何在不确定环境中自然地平衡信息获取与任务执行？
• RQ5 POMDPs与现代强化学习之间存在何种关系，特别是在基于模型和深度学习框架中？

主要发现

• 基于采样的POMDP求解器现在能够在合理时间内计算出高质量策略，使POMDPs在现实世界机器人应用中具备实用性。
• POMDPs显著提升了系统在不确定环境中的鲁棒性，例如水下导航、基于部分知识的对象操作以及人机协作。
• 将POMDPs与强化学习结合，使智能体能够同时学习任务执行能力与模型不确定性，从而提升适应能力。
• 将POMDP结构嵌入神经网络的深度学习方法，其泛化能力优于纯粹的无模型方法。
• 开源软件工具与信念空间规划接口现已支持POMDPs在机器人系统中的部署，显著降低了实际应用的门槛。
• 尽管仍存在可扩展性挑战，当前方法已足够在包括长时域与复杂动力学场景在内的多种机器人问题中提升系统鲁棒性。