[论文解读] Policy-contingent abstraction for robust robot control

Joëlle Pineau, Geoff Gordon+1 more|arXiv (Cornell University)|Oct 19, 2012

Formal Methods in Verification参考文献 19被引用 52

一句话总结

本文提出了一种策略依赖的抽象方法，通过将分层控制与部分可观察马尔可夫决策过程（POMDPs）相结合，使移动机器人能够在不确定性环境下做出稳健的高层决策。该方法可扩展至实际部署，在护理机构中成功验证，代表了POMDPs在高层机器人控制中的一种独特应用，显著提升了信念不确定性下的决策能力。

ABSTRACT

This paper presents a scalable control algorithm that enables a deployed mobile robot system to make high-level decisions under full consideration of its probabilistic belief. Our approach is based on insights from the rich literature of hierarchical controllers and hierarchical MDPs. The resulting controller has been successfully deployed in a nursing facility near Pittsburgh, PA. To the best of our knowledge, this work is a unique instance of applying POMDPs to high-level robotic control problems.

研究动机与目标

• 为解决移动机器人系统在不确定性环境下进行可靠高层决策的挑战。
• 弥合分层控制架构与部分可观察环境中的概率规划之间的差距。
• 开发一种可扩展的方法，在保持计算可行性的同时，确保真实机器人部署中的决策质量。
• 在复杂动态环境（如医疗护理机构）中实现稳健的、基于信念的控制。

提出的方法

• 该方法采用策略依赖的抽象，其中高层动作基于机器人的当前策略和信念状态定义，实现上下文敏感的抽象。
• 将分层MDP与POMDP结合，实现在考虑传感器观测和状态估计不确定性的同时进行高层规划。
• 控制器利用信念状态指导动作选择，确保对感知模糊性和环境噪声具有鲁棒性。
• 根据当前策略动态调整抽象，降低状态空间复杂度，同时不牺牲决策质量。
• 该方法利用现有的POMDP求解器进行高层规划，同时通过策略条件化的抽象保持低层执行的保真度。

实验结果

研究问题

• RQ1 如何使分层控制在真实机器人部署中对不确定性具有鲁棒性？
• RQ2 策略依赖的抽象在基于POMDP的移动机器人规划中，能在多大程度上降低计算复杂度？
• RQ3 POMDP能否有效应用于复杂动态环境（如护理机构）中的高层控制？
• RQ4 与传统分层或非信念依赖的方法相比，基于信念的抽象如何改善决策质量？

主要发现

• 所提出的方法成功使移动机器人在真实世界的护理机构中执行高层导航与任务规划，同时充分考虑了信念不确定性。
• 系统对传感器噪声和部分可观察性表现出鲁棒性，在各种环境条件下均保持了可靠的性能。
• 与完整POMDP规划相比，策略依赖的抽象显著降低了计算复杂度，实现了实时部署。
• 与缺乏信念感知能力的基线分层控制器相比，该方法在任务成功率方面实现了显著提升。