[论文解读] On the Importance of Environments in Human-Robot Coordination

Matthew C. Fontaine, Ya-Chuan Hsu+3 more|arXiv (Cornell University)|Jun 21, 2021

Reinforcement Learning in Robotics参考文献 37被引用 5

一句话总结

本文提出了一种 GAN-MIP 框架，用于在 Overcooked 领域中程序化生成多样化、可解且风格上逼真的环境，以研究其对人机协作的影响。通过将生成对抗网络与混合整数线性规划修复方法及质量多样性算法（CMA-ME）相结合，该方法生成的环境在工作量分布和团队流畅性方面表现出统计显著差异——即使机器人使用相同的规划算法——证明环境设计对涌现协作行为具有决定性影响。

ABSTRACT

When studying robots collaborating with humans, much of the focus has been on robot policies that coordinate fluently with human teammates in collaborative tasks. However, less emphasis has been placed on the effect of the environment on coordination behaviors. To thoroughly explore environments that result in diverse behaviors, we propose a framework for procedural generation of environments that are (1) stylistically similar to human-authored environments, (2) guaranteed to be solvable by the human-robot team, and (3) diverse with respect to coordination measures. We analyze the procedurally generated environments in the Overcooked benchmark domain via simulation and an online user study. Results show that the environments result in qualitatively different emerging behaviors and statistically significant differences in collaborative fluency metrics, even when the robot runs the same planning algorithm.

研究动机与目标

• 研究环境设计如何影响人机协作团队中的涌现协作行为。
• 解决尽管对机器人规划和人类建模的关注日益增加，但对环境影响在人机协作中系统性探索仍显不足的问题。
• 开发一种可扩展、自动化的环境生成方法，生成的环境在风格上与人工设计的环境相似，保证可解性，并在协作相关度量上具有多样性。
• 验证模拟中的协作差异是否能转化为真实的人机交互。

提出的方法

• 在人工设计的 Overcooked 厨房上训练生成对抗网络（GAN），以学习环境设计的风格模式。
• 应用混合整数线性规划（MIP）对 GAN 生成的环境进行修复，通过约束强制（如食材可及性、锅具存在性、可到达的服务站）确保人机团队的可解性。
• 使用 CMA-ME 质量多样性算法探索 GAN 的潜在空间，以发现能最大化协作度量（如工作量均衡与团队流畅性）多样性的环境。
• 将生成的环境组织成一个按协作度量索引的档案，引导搜索向未充分探索的行为组合方向进行。
• 通过模拟评估生成的环境，使用预计算的联合计划和人机感知规划（QMDP），并在真实参与者参与的在线用户研究中验证结果。

实验结果

研究问题

• RQ1 即使机器人使用相同的规划算法，程序化生成的环境是否能引起工作量均衡与团队流畅性等人机协作度量的统计显著差异？
• RQ2 模拟中观察到的协作差异在多大程度上能转化为真实的人机交互？
• RQ3 GAN-MIP-CMA-ME 管道在生成在风格上逼真、可解且能实现多样化协作行为的环境方面效果如何？
• RQ4 该框架是否能系统性地探索并发现强调特定协作特征（如均衡工作量、高流畅性）的环境？
• RQ5 人类参与者如何感知并响应在工作量分布与团队流畅性方面存在的环境差异？

主要发现

• 在线用户研究证实，为强调工作量不均衡而生成的环境导致人与机器人之间的工作量失衡显著更大，其中食材差异的 p 值为 p<0.001，订单差异的 p 值为 p=0.01。
• 在‘高流畅性’环境中，并行运动的比例显著高于‘低流畅性’环境（z=4.541，p<0.001），表明团队流畅性更高。
• 在高流畅性与低流畅性环境中，‘卡住时间’无显著差异，因为用户能快速通过让位给机器人来解决死锁。
• 该框架成功生成了在风格上与人工设计环境相似，并通过 MIP 修复保证可解性的环境。
• CMA-ME 算法有效探索了潜在空间，发现了在多个度量上具有多样化协作行为的环境。
• 结果表明，环境设计是塑造涌现协作动态的关键因素，即使机器人策略保持不变，这一因素也常被忽视。