[论文解读] User Experience of the CoSTAR System for Instruction of Collaborative Robots

Chris Paxton, Felix Jonathan+3 more|arXiv (Cornell University)|Mar 23, 2017

Robot Manipulation and Learning参考文献 18被引用 8

一句话总结

本文评估了CoSTAR系统，这是一种基于行为树的接口，整合了感知、规划与推理，使新手用户能够为协作机器人编写任务计划。结果表明，当使用SmartMove等高级功能时，用户能够更快、更有效地创建计划，且计划更具可迁移性；然而，由于心智模型不匹配和用户界面元素混淆，可用性挑战依然存在。

ABSTRACT

How can we enable novice users to create effective task plans for collaborative robots? Must there be a tradeoff between generalizability and ease of use? To answer these questions, we conducted a user study with the CoSTAR system, which integrates perception and reasoning into a Behavior Tree-based task plan editor. In our study, we ask novice users to perform simple pick-and-place assembly tasks under varying perception and planning capabilities. Our study shows that users found Behavior Trees to be an effective way of specifying task plans. Furthermore, users were also able to more quickly, effectively, and generally author task plans with the addition of CoSTAR's planning, perception, and reasoning capabilities. Despite these improvements, concepts associated with these capabilities were rated by users as less usable, and our results suggest a direction for further refinement.

研究动机与目标

• 评估新手用户是否能够有效利用CoSTAR系统的集成感知、规划与推理能力来编写机器人任务计划。
• 研究行为树作为非专家用户在协作机器人领域中的接口的可用性与有效性。
• 识别机器人编程接口中的可用性障碍，特别是关于心智模型对齐与界面清晰度方面的问题。
• 通过分析用户在不同系统能力水平下的使用体验，为未来用户友好的机器人编程系统设计提供依据。

提出的方法

• CoSTAR系统使用行为树作为可视化编程接口，用于指定机器人任务计划，支持原子操作与复杂操作的分层组合。
• 系统集成了感知（RGBD传感器）、运动规划以及通过SmartMove查询实现的抽象推理，支持根据世界状态条件执行任务。
• 采用被试间设计的用户研究，比较四种条件：基线（无规划/感知）、规划（避障）、感知（仅感知）和SmartMove（完整集成）。
• 参与者在每种条件下执行简单的抓取与装配任务，测量任务成功率、耗时与计划复杂度。
• 根据试点研究反馈，对用户界面元素进行了迭代优化，包括重命名UI字段（例如，“Reference” → “in coordinate frame”）以提升清晰度。
• 通过任务表现指标、任务后问卷和半结构化访谈收集数据，以评估可用性、心智模型准确性与用户满意度。

实验结果

研究问题

• RQ1 行为树接口在帮助新手用户为协作机器人编写任务计划方面有多高效？
• RQ2 CoSTAR中感知、规划与推理能力的加入，如何影响任务完成时间、成功率与计划可迁移性？
• RQ3 新手用户在与高级机器人编程接口交互时面临哪些可用性挑战，特别是关于心智模型对齐方面？
• RQ4 界面设计选择（例如，SmartMove查询结构）在多大程度上影响用户理解与任务表现？

主要发现

• 新手用户认为行为树是指定机器人任务计划的有效且实用的方法，核心接口的可用性评分较高。
• 与基线条件相比，感知、规划与SmartMove功能的加入显著提升了任务完成速度、成功率与计划可迁移性。
• 尽管整体表现有所改善，用户在理解和正确使用SmartMove查询方面仍存在困难，主要由于命名不清晰与条件输入复杂，导致困惑与错误。
• SmartMove条件下生成的计划最为高效且易于阅读，其树结构简洁、可靠且可重用。
• 用户因对可重用性理解不清，频繁删除已有树并从头开始创建，表明需要改进树的持久化与可视化功能。
• 参与者表示，即使在非感知条件下，RGBD传感器提供的视觉反馈（如坐标系可视化）也具有帮助，凸显了实时空间反馈的价值。