[论文解读] Towards Deployment of Robust AI Agents for Human-Machine Partnerships

Ahana Ghosh, Sebastian Tschiatschek+2 more|arXiv (Cornell University)|Oct 5, 2019

Reinforcement Learning in Robotics参考文献 33被引用 8

一句话总结

本文提出了一种框架，用于设计能够通过参数化MDP模型在人机协作中适应未知人类用户类型的鲁棒AI智能体。通过从观察到的行为中推断用户类型，并利用AdaptPool（预计算策略）和AdaptDQN（基于神经网络的推理）动态调整策略，智能体在协作任务中实现了强大的理论鲁棒性，并优于非自适应基线方法。

ABSTRACT

We study the problem of designing AI agents that can robustly cooperate with people in human-machine partnerships. Our work is inspired by real-life scenarios in which an AI agent, e.g., a virtual assistant, has to cooperate with new users after its deployment. We model this problem via a parametric MDP framework where the parameters correspond to a user's type and characterize her behavior. In the test phase, the AI agent has to interact with a user of unknown type. Our approach to designing a robust AI agent relies on observing the user's actions to make inferences about the user's type and adapting its policy to facilitate efficient cooperation. We show that without being adaptive, an AI agent can end up performing arbitrarily bad in the test phase. We develop two algorithms for computing policies that automatically adapt to the user in the test phase. We demonstrate the effectiveness of our approach in solving a two-agent collaborative task.

研究动机与目标

• 解决在部署后与新出现的、未知的人类用户有效协作的AI智能体部署挑战。
• 通过参数化MDP框架建模用户行为，其中用户类型θ捕捉偏好和行为模式。
• 设计AI智能体在交互过程中推断用户类型，并自适应调整策略，以在测试阶段无显式奖励信号的情况下最大化效用。
• 即使面对此前未见过的用户类型，也能确保鲁棒性能，避免非自适应智能体可能出现的任意差表现。
• 在通过深度学习启发方法实现可扩展部署的同时，提供策略鲁棒性的理论保证。

提出的方法

• 将人-AI协作问题形式化为参数化MDP M(θ)，其中θ代表用户的行为类型。
• 通过贝叶斯或基于似然的推断方法，利用人类用户的观察动作推断其类型θ，并随时间更新信念。
• 开发AdaptPool：为候选用户类型预计算一组最优响应策略库，并根据推断出的用户类型选择最匹配的策略。
• 设计AdaptDQN：一种深度强化学习架构，联合学习策略与推理模块，以预测用户类型并相应地调整行为。
• 利用从人类策略πθx推导出的转移动态Tθ和奖励函数Rθ，将环境建模为AI智能体所感知的形式。
• 通过设计在θ不确定性下仍能保持高期望回报的策略，确保鲁棒性，并提供性能边界的理论保证。

实验结果

研究问题

• RQ1 在部署后与未知行为类型的新人类用户交互时，AI智能体如何维持高效率？
• RQ2 哪些机制使AI智能体能够从观察到的动作中推断人类用户类型，并相应地调整其策略？
• RQ3 当面对未知用户类型时，非自适应AI智能体能否在人机协作中实现鲁棒性能？
• RQ4 在用户类型不确定性存在的情况下，能够为自适应策略提供哪些理论保证？
• RQ5 如何利用深度学习方法将自适应策略扩展到大规模或复杂环境，同时保持鲁棒性？

主要发现

• 非自适应AI智能体在测试阶段遇到未知用户类型时可能表现任意差，凸显了自适应的必要性。
• 所提出的AdaptPool算法通过基于推断出的用户类型从预计算策略库中选择最匹配策略，实现了强大的理论鲁棒性保证。
• AdaptDQN通过将神经网络策略与端到端推理模块结合，在实践中展现出有效的自适应能力，使复杂环境中的可扩展性成为可能。
• 实证评估表明，在用户类型不确定性下，两种提出的策略在协作性双智能体任务中均显著优于非自适应基线。
• 该框架即使在部署阶段缺乏奖励信息时也能实现高效率，完全依赖行为观察与推理。
• 理论分析证实，即使在测试时真实用户类型未知，自适应策略仍能保持接近最优的性能。