[论文解读] Probabilistic Model Checking for Complex Cognitive Tasks -- A case study in human-robot interaction

Sebastian Junges, Nils Jansen+2 more|arXiv (Cornell University)|Oct 28, 2016

Formal Methods in Verification参考文献 18被引用 7

一句话总结

本文提出使用概率模型检测来合成人机交互中的最优机器人策略，通过加权Q表和欠约束MDP对人类行为进行建模。将人类与机器人模型整合为随机博弈，利用PRISM-Games实现机器人策略的验证与合成，在网格世界场景中进行了实验验证，尽管面临状态空间爆炸的挑战，仍显示出可行性。

ABSTRACT

This paper proposes to use probabilistic model checking to synthesize optimal robot policies in multi-tasking autonomous systems that are subject to human-robot interaction. Given the convincing empirical evidence that human behavior can be related to reinforcement models, we take as input a well-studied Q-table model of the human behavior for flexible scenarios. We first describe an automated procedure to distill a Markov decision process (MDP) for the human in an arbitrary but fixed scenario. The distinctive issue is that -- in contrast to existing models -- under-specification of the human behavior is included. Probabilistic model checking is used to predict the human's behavior. Finally, the MDP model is extended with a robot model. Optimal robot policies are synthesized by analyzing the resulting two-player stochastic game. Experimental results with a prototypical implementation using PRISM show promising results.

研究动机与目标

• 为了在复杂的人机交互场景中实现机器人策略的形式化验证与合成。
• 为了利用强化学习和逆向强化学习生成的加权Q表来建模人类行为。
• 为了在人类行为模型中引入不完全指定（under-specification），以反映现实世界中的不确定性。
• 为了将人类MDP扩展为包含机器人模型的双人随机博弈，以实现联合分析。
• 为了在基于PRISM和PRISM-Games的视觉运动任务上评估该方法，解决可扩展性与验证挑战。

提出的方法

• 从加权Q表和场景特定参数自动生成马尔可夫决策过程（MDP），通过概率转移编码人类行为。
• 使用PRISM、StORM和iscasMc进行概率模型检测，验证人类行为属性，如可达性与期望奖励。
• 将人类MDP与机器人MDP结合，形成随机双人博弈（SG），将人机交互建模为竞争或合作决策过程。
• 使用PRISM-Games合成最优机器人策略，重点关注最大-最小可达性与有限时域规划。
• 通过符号模型检测（MTBDD）处理模型复杂性，并利用联盟抽象分析不完全指定问题。
• 应用敏感性分析与模型抽象技术，减少状态空间爆炸问题，提升可扩展性。

实验结果

研究问题

• RQ1 在复杂、多任务场景中，概率模型检测能否有效验证基于Q表的人类行为模型？
• RQ2 人类行为模型中的不完全指定如何影响最优机器人策略的合成？
• RQ3 在大规模状态空间下，将人机交互建模为随机博弈的可扩展性极限是什么？
• RQ4 Q表参数与基于softmax的随机性变化如何影响人类行为预测？
• RQ5 符号模型检测与抽象技术能否缓解人机交互验证中的状态空间爆炸问题？

主要发现

• 基于Q表和IRL权重的人类行为模型因缺乏进度惩罚，预测出波浪形行走模式，表明需要结构上的改进。
• 由于缺乏边界处理，模型表现出显著概率会离开网格，暴露出原始Q表中存在关键的不完全指定问题。
• 不完全指定的动作导致行为结果高度可变，表明分析必须显式考虑模型中的分辨率策略。
• 在$8\times8$网格场景中，生成的随机博弈包含$1.6\cdot10^7$个状态，构建耗时超过20小时，可达性分析耗时3小时。
• 符号模型检测将$11\times11$网格的MDP缩减为191,290个MTBDD节点，四小时内完成分析，迭代500次。
• 有限时域规划在前100次迭代内40分钟内收敛，生成了稳定的机器人目标到达调度器。