[论文解读] Online Tool and Task learning via Human Robot Interaction.

Masood Dehghan, Zichen Vincent Zhang+4 more|arXiv (Cornell University)|Sep 24, 2018

Robot Manipulation and Learning参考文献 20被引用 3

一句话总结

本文提出了一套机器人系统，通过实时人机交互，利用基于深度学习的物体识别模块、直观的3D运动设定界面以及混合力觉-视觉控制系统，实现对新工具和新任务的渐进式学习，适用于非结构化表面的顺应性操作。该系统被评选为KUKA创新奖决赛入围者，并于2018年汉诺威工业博览会展出。

ABSTRACT

This work describes the development of a robotic system that acquires knowledge incrementally through human interaction where new tools and motions are taught on the fly. The robotic system developed was one of the five finalists in the KUKA Innovation Award competition and demonstrated during the Hanover Messe 2018 in Germany. The main contributions of the system are a) a novel incremental object learning module - a deep learning based localization and recognition system - that allows a human to teach new objects to the robot, b) an intuitive user interface for specifying 3D motion task associated with the new object, c) a hybrid force-vision control module for performing compliant motion on an unstructured surface. This paper describes the implementation and integration of the main modules of the system and summarizes the lessons learned from the competition.

研究动机与目标

• 通过实时直接人机交互，使机器人能够渐进式学习新工具和新运动任务。
• 解决在无预编程知识或结构化环境条件下，教会机器人新物体和新动作的挑战。
• 开发一种直观的界面，用于指定与新教学物体相关联的3D运动任务。
• 通过混合力觉-视觉控制策略，实现在非结构化表面上的顺应性操作。

提出的方法

• 基于深度学习的增量式物体学习模块，实现实时交互过程中对新工具和物体的定位与识别。
• 直观的用户界面，允许人类通过直接输入方式定义与新教学物体相关联的3D运动任务。
• 混合力觉-视觉控制模块，结合视觉反馈与力觉传感，实现在非结构化表面上的顺应性运动。
• 将三大核心模块——物体学习、任务设定与顺应性控制——整合为统一的机器人系统，实现在线学习。
• 通过参与KUKA创新奖竞赛并完成在汉诺威工业博览会2018年的现场演示，开展系统部署与验证。

实验结果

研究问题

• RQ1 机器人如何通过持续的人机交互实现实时渐进式学习新工具与新物体？
• RQ2 何种界面设计可实现对新教学物体的直观3D运动任务设定？
• RQ3 机器人如何利用实时视觉与力觉反馈，在非结构化表面上实现顺应性操作？
• RQ4 在实现在线工具与任务学习过程中，系统级集成面临的关键挑战是什么？

主要发现

• 基于深度学习的物体学习模块成功实现了交互过程中对新工具与物体的实时定位与识别。
• 直观的用户界面使非专业用户能够以最少的培训即可为新物体指定3D运动任务。
• 混合力觉-视觉控制模块实现了在非结构化表面上的稳定且顺应性操作，显著提升了任务鲁棒性。
• 集成系统已在2018年汉诺威工业博览会成功演示，并被选为KUKA创新奖五强决赛入围者之一。