[论文解读] Where to look first? Behaviour control for fetch-and-carry missions of service robots

Markus Bajones, Daniel Wolf+2 more|arXiv (Cornell University)|Oct 6, 2015

Robotic Path Planning Algorithms参考文献 18被引用 3

一句话总结

本文提出了一种面向服务机器人的行为控制器，该控制器利用语义分割技术自主识别取物任务中高概率的搜索位置，从而无需手动标注位置。通过分析场景上下文（例如桌子、置物架），系统生成智能的搜索位姿，在保持与预标注位置相当效率的同时，提升了在家庭环境中的灵活性和以人为本的感知能力。

ABSTRACT

This paper presents the behaviour control of a service robot for intelligent object search in a domestic environment. A major challenge in service robotics is to enable fetch-and-carry missions that are satisfying for the user in terms of efficiency and human-oriented perception. The proposed behaviour controller provides an informed intelligent search based on a semantic segmentation framework for indoor scenes and integrates it with object recognition and grasping. Instead of manually annotating search positions in the environment, the framework automatically suggests likely locations to search for an object based on contextual information, e.g. next to tables and shelves. In a preliminary set of experiments we demonstrate that this behaviour control is as efficient as using manually annotated locations. Moreover, we argue that our approach will reduce the intensity of labour associated with programming fetch-and-carry tasks for service robots and that it will be perceived as more human-oriented.

研究动机与目标

• 开发一种行为控制系统，使服务机器人能够在家庭环境中更灵活、更符合人类直觉地执行取物任务。
• 消除对手动标注物体搜索位置的需求，降低编程开销，并提升对环境变化的适应能力。
• 通过语义场景理解优先考虑上下文上可能的物体位置，提升机器人行为的可读性与用户满意度。
• 使用机器人平台在真实室内环境中评估所提方法的可行性和性能。

提出的方法

• 系统使用SMACH（一种基于Python的分层状态机框架）编排机器人行为，包括感知、导航和抓取。
• 基于场景上下文（如桌子、置物架、窗台等），对RGB-D数据进行语义分割，识别潜在的物体位置。
• 机器人在进入房间后执行30°旋转并获取点云数据，以实现三维场景理解与搜索位姿生成。
• 从分割后的表面自动计算搜索位置，避免了手动标注，同时保持对可能物体位置的覆盖。
• 通过顶部摄像头执行物体检测与识别，抓取操作由配备两指夹爪的机械臂完成。
• 系统通过ROS与SMACH将导航、感知与操作整合为单一的行为控制流水线。

实验结果

研究问题

• RQ1 机器人能否在无需手动标注的情况下，自主生成高概率的物体检索搜索位置？
• RQ2 与预标注的搜索位置相比，基于语义分割的搜索在耗时与成功率方面表现如何？
• RQ3 所提方法在多大程度上提升了用户对机器人行为智能性与可读性的感知？
• RQ4 当前实现中的主要性能瓶颈是什么？如何加以缓解？

主要发现

• 基于语义分割的方法在搜索效率上与手动标注位置相当，测试运行中成功率达到了80%。
• 由于搜索覆盖范围更广，系统耗时最多为预标注搜索的2.5倍，但此结果在预期范围内，因灵活性提升所致。
• 最长搜索时长为23:07分钟（钱包搜索），共36个搜索位置，表明覆盖范围与速度之间存在权衡。
• 在4次运行中有1次出现误报（床头柜上的手提包），表明识别可靠性仍有提升空间。
• 系统的主要时间开销来自顺序执行的语义分割与30°旋转，若并行化这些步骤，有望在多房间环境中节省最多4分钟。
• 对邻近的搜索位姿进行聚类可将位置数量减少高达50%，在不牺牲覆盖范围的前提下提升效率。