[论文解读] Robot Planning with Mathematical Models of Human State and Action

Anca D. Dragan|arXiv (Cornell University)|May 11, 2017

AI-based Problem Solving and Planning参考文献 20被引用 30

一句话总结

本文提出，机器人应使用人类认知的数学模型——特别是人类信念、目标和奖励函数——进行规划，而非将人类视为被动障碍物。通过将人类行为建模为理性推理，并采用博弈论规划，机器人能够更自然地协调行动，适应人类行为，甚至通过行为传达其内部状态（例如驾驶风格或信心），从而实现更安全、更直观的人机交互。

ABSTRACT

Robots interacting with the physical world plan with models of physics. We advocate that robots interacting with people need to plan with models of cognition. This writeup summarizes the insights we have gained in integrating computational cognitive models of people into robotics planning and control. It starts from a general game-theoretic formulation of interaction, and analyzes how different approximations result in different useful coordination behaviors for the robot during its interaction with people.

研究动机与目标

• 为解决机器人在动态共享环境中与人类有效交互的挑战，通过建模人类心理状态而非将人类视为静态障碍物。
• 通过建模人类如何推理机器人意图与内部状态，使机器人能够预测并适应人类行为。
• 开发在线主动推理机制，使机器人能从多样化的行为信号（如示范、修正和口头指令）中估计人类奖励函数与内部状态。
• 设计不仅高效且具沟通性的机器人行为——通过行为传达自身内部参数（如奖励函数、信心）的信息，以提升透明度与信任感。
• 超越对人类行为的被动观察，实现主动、交互式学习，使机器人自身的行为成为人类推断的信号。

提出的方法

• 将人机交互形式化为两人博弈，具有部分可观察性与信息不对称性，双方代理均优化自身效用函数。
• 采用嵌套推理的博弈论规划：机器人将人类建模为对自身目标与奖励参数执行贝叶斯推理的代理，并据此规划在该模型下最优的行为。
• 实施分层规划：机器人首先建模人类行为（如最优响应或理性推理），再选择能引导或协调人类的行为。
• 整合逆强化学习与逆规划技术，从观察到的人类行为中推断人类奖励函数，包括非示范性信号（如物理修正与明确指令）。
• 设计机器人行为，使其能通过选择最大化人类信念更新信息增益的动作，来传达自身内部状态（如驾驶风格或信心）的信息。
• 利用实时在线推理，估计隐藏的人类状态（如偏好、意图），并在交互过程中动态调整机器人行为。

实验结果

研究问题

• RQ1 机器人如何规划行为以考虑人类反应，而非假设人类行为为静态或可预测？
• RQ2 将人类建模为推断机器人目标与意图的理性代理，能带来哪些协调优势？
• RQ3 机器人如何从示范以外的多样化行为信号（如修正、指令等）中主动推断人类奖励函数与内部状态？
• RQ4 机器人行为在哪些方面可被设计为传达其自身内部参数（如奖励函数、信心）的信息给人类？
• RQ5 在双方均推断彼此内部状态的相互信念形成模型下，对安全与透明的人机交互有何影响？

主要发现

• 将人类建模为对目标与奖励函数执行贝叶斯推理的理性代理的机器人，能生成更具适应性与合作性的行为，例如调整物品交接策略以匹配人类偏好。
• 将人类建模为对机器人行为作出最优响应的代理，可使机器人预测并响应人类反应，从而在驾驶或协作装配等共享环境中提升任务表现。
• 利用物理动作作为信号（如夸张动作或时间控制）可有效传达机器人目标与意图，模仿自然的人类沟通策略。
• 能从多样化信号（如修正、指令或设计奖励函数）中主动推断人类奖励函数的机器人，对奖励函数误设更具鲁棒性，且更不易绕过人类监督。
• 通过建模人类对机器人内部状态的推理，机器人可有意偏离效率以增强清晰度——例如通过激进变道以表明高效驾驶风格——从而提升透明度与协调性。
• 将认知建模整合进机器人规划，可自然涌现出类人协调行为（如在交叉口缓慢前行、试探空间），这些行为难以手工编码，但源于理性推理的自然结果。