[论文解读] Qualitative Possibilistic Mixed-Observable MDPs

Nicolas Drougard, Florent Teichteil-Königsbuch+2 more|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 16被引用 3

一句话总结

本文提出了一种定性可能性混合可观测MDP（pi-MOMDPs），这是可能性POMDP的可处理扩展，通过利用部分可观测性来降低计算复杂度。通过假设部分状态变量完全可观测，作者提出了一种值迭代算法，在无限时域规划下可获得最优策略，在观测不精确的目标识别任务中优于传统的概率POMDP。

ABSTRACT

Possibilistic and qualitative POMDPs (pi-POMDPs) are counterparts of POMDPs used to model situations where the agent's initial belief or observation probabilities are imprecise due to lack of past experiences or insufficient data collection. However, like probabilistic POMDPs, optimally solving pi-POMDPs is intractable: the finite belief state space exponentially grows with the number of system's states. In this paper, a possibilistic version of Mixed-Observable MDPs is presented to get around this issue: the complexity of solving pi-POMDPs, some state variables of which are fully observable, can be then dramatically reduced. A value iteration algorithm for this new formulation under infinite horizon is next proposed and the optimality of the returned policy (for a specified criterion) is shown assuming the existence of a "stay" action in some goal states. Experimental work finally shows that this possibilistic model outperforms probabilistic POMDPs commonly used in robotics, for a target recognition problem where the agent's observations are imprecise.

研究动机与目标

• 为解决由于信念空间指数增长而导致的定性可能性POMDP（pi-POMDPs）求解不可行性问题。
• 通过利用部分可观测性（即部分状态变量完全可观测）来降低计算复杂度。
• 为该新框架中的无限时域规划开发一种值迭代算法。
• 在具有不精确观测的实际机器人应用中，展示所提模型相较于标准概率POMDP的优越性。

提出的方法

• 形式化定义了一种混合可观测MDP（MOMDPs）的可能性版本，其中部分状态变量完全可观测，从而降低信念空间复杂度。
• 将值迭代方法适配到定性可能性框架中，使用可能性理论而非概率来表示不确定性。
• 采用一种信念更新机制，将未观测状态的可能性分布与可观测状态的确定性观测相结合。
• 在目标状态中引入“停留”动作，以确保值迭代过程的收敛性和最优性。
• 基于可能性理论定义策略最优性的标准，确保达到目标状态的可能性最大化。
• 采用有限状态抽象，通过利用混合可观测性结构避免指数增长。

实验结果

研究问题

• RQ1 混合可观测性是否能降低求解定性可能性POMDP的计算复杂度？
• RQ2 能否为无限时域pi-MOMDPs设计一种值迭代算法，以保证策略最优性？
• RQ3 所提的可能性模型在实际识别任务中的性能与标准概率POMDP相比如何？
• RQ4 在目标状态中引入“停留”动作是否能确保可能性设定下的收敛性和最优性？

主要发现

• 所提出的pi-MOMDP框架通过利用状态变量的部分可观测性，显著降低了求解定性MDP的复杂度。
• 在假设目标状态中存在“停留”动作的前提下，值迭代算法能根据指定标准收敛到最优策略。
• 实验结果表明，可能性模型在观测不精确的目标识别任务中优于标准概率POMDP。
• 当观测数据稀疏或不可靠时，该模型在成功可能性方面表现更优。