[论文解读] Programming by Demonstration with User-Specified Perceptual Landmarks

Justin Huang, Maya Çakmak|arXiv (Cornell University)|Dec 2, 2016

Robot Manipulation and Learning参考文献 22被引用 3

一句话总结

本文提出了一种灵活、用户驱动的编程演示（PbD）感知系统，允许非专家用户通过点云界面定义自定义的3D感知地标。通过捕获用户指定的点云片段——包括物体部分、场景特征或空旷区域——该系统利用改进的ICP算法结合空旷区域约束，在新环境中实现对这些地标鲁棒的定位，显著提升了在多样化、非桌面及杂乱场景中操作任务的泛化能力，且无需预先存在的物体模型或标识物。

ABSTRACT

Programming by demonstration (PbD) is an effective technique for developing complex robot manipulation tasks, such as opening bottles or using human tools. In order for such tasks to generalize to new scenes, the robot needs to be able to perceive objects, object parts, or other task-relevant parts of the scene. Previous work has relied on rigid, task-specific perception systems for this purpose. This paper presents a flexible and open-ended perception system that lets users specify perceptual "landmarks" during the demonstration, by capturing parts of the point cloud from the demonstration scene. We present a method for localizing landmarks in new scenes and experimentally evaluate this method in a variety of settings. Then, we provide examples where user-specified landmarks are used together with PbD on a PR2 robot to perform several complex manipulation tasks. Finally, we present findings from a user evaluation of our landmark specification interface demonstrating its feasibility as an end-user tool.

研究动机与目标

• 克服现有PbD框架中刚性、任务特定感知系统的局限性，这些系统限制了地标类型，并将泛化能力局限于桌面或无杂乱场景。
• 使终端用户能够在无需CAD模型或标识物的情况下，定义与任务相关的感知地标（如物体部分、场景特征或空旷区域）。
• 开发一种感知系统，能够在新、未见过的场景中鲁棒地定位用户定义的地标，即使在杂乱或非典型环境中亦可。
• 评估地标定义界面在真实世界操作任务中对新手用户的可行性。
• 证明自定义地标可使复杂操作任务（如从置物架上取物、使用工具）在标准桌面设置之外的多样化环境中实现泛化。

提出的方法

• 用户通过允许调整六个面的3D包围盒界面，从机器人的传感器数据中捕获3D点云片段，以定义自定义地标。
• 系统将地标表示为3D点云，并显式建模周围空旷空间（负空间），以增强其唯一性并提高定位鲁棒性。
• 采用改进的迭代最近点（ICP）算法，将用户定义的地标点云与新场景中的候选区域进行配准，结合几何约束与空旷空间信息以提升精度。
• 该算法在迭代最近点匹配过程中，对表面几何与预期空旷区域的错位进行惩罚，从而在模糊或杂乱场景中提高可区分性。
• 系统与PbD流程集成，将末端执行器位姿记录为相对于定位后地标的位置，从而实现在新环境中的任务执行。
• 通过测量用户定义地标所用时间并收集定性反馈，开展可用性研究以评估界面在非专家用户中的表现。

实验结果

研究问题

• RQ1 用户通过点云片段定义的感知地标，是否能通过同时考虑表面几何与空旷区域的感知算法，在新、未见过的场景中实现可靠定位？
• RQ2 与刚性、预定义的感知系统相比，自定义地标在非桌面、杂乱或非典型环境中的PbD操作任务泛化能力提升程度如何？
• RQ3 在真实世界的PbD场景中，地标定义界面对非专家用户的可行性如何？在创建与任务相关的地标时会遇到哪些可用性挑战？
• RQ4 自定义地标在何种方式下实现了原本需要任务特定感知代码或标识物标记才能完成的操作任务？
• RQ5 传感器视场限制、遮挡或地标独特性不足如何影响地标定位与任务执行的鲁棒性？

主要发现

• 该系统在16个测试场景中的14个（涵盖非桌面环境，如置物架、门和杂乱场景）成功定位了用户指定的地标。
• 在地标表示中引入空旷区域建模显著提升了在模糊或杂乱场景中的定位精度，减少了误报。
• 可用性研究显示，新手用户平均仅需1分11秒（标准差=42秒）即可定义出有效地标，且所有参与者均成功完成至少一项任务。
• 失败案例主要源于传感器限制（如倾斜表面导致的深度数据不完整）或地标模糊性（如将平坦表面误认为空旷区域），表明系统对地标独特性的依赖性。
• 使用自定义地标成功执行了如从置物架上取碗、使用悬挂工具或区分与相似容器的垃圾桶等任务，证明了其在非桌面环境中的泛化能力。
• 包围盒界面功能可用，但被识别为可改进，用户请求增加独立的平移控制或自动初始猜测功能，以降低认知负荷。