[论文解读] Robot Learning and Execution of Collaborative Manipulation Plans from YouTube Videos.

Hejia Zhang, Stefanos Nikolaidis|arXiv (Cornell University)|Nov 25, 2019

Multimodal Machine Learning Applications参考文献 44被引用 8

一句话总结

本论文提出了一种框架，通过利用语言学的、分层的动作表示，使机器人能够从非结构化的YouTube烹饪视频中学习并执行协作操作计划。该框架处理带有物体标注的视频以生成可执行的机器人计划，在100个精选视频和三段完整长度的协作视频中取得成功，并支持开源仿真与真实机器人部署。

ABSTRACT

People often watch videos on the web to learn how to cook new recipes, assemble furniture or repair a computer. We wish to enable robots with the very same capability. This is challenging; there is a large variation in manipulation actions and some videos even involve multiple persons, who collaborate by sharing and exchanging objects and tools. Furthermore, the learned representations need to be general enough to be transferable to robotic systems. On the other hand, previous work has shown that the space of human manipulation actions has a linguistic, hierarchical structure that relates actions to manipulated objects and tools. Building upon this theory of language for action, we propose a framework for understanding and executing demonstrated action sequences from full-length, unconstrained cooking videos on the web. The framework takes as input a cooking video annotated with object labels and bounding boxes, and outputs a collaborative manipulation action plan for one or more robotic arms. We demonstrate performance of the system in a standardized dataset of 100 YouTube cooking videos, as well as in three full-length Youtube videos that include collaborative actions between two participants. We additionally propose an open-source platform for executing the learned plans in a simulation environment as well as with an actual robotic arm.

研究动机与目标

• 使机器人能够从非结构化、完整长度的YouTube视频中学习复杂操作任务，如同人类通过在线教程学习一般。
• 解决网络视频中人类动作的多样性、多人协作以及物体/工具共享带来的挑战。
• 开发一种可泛化、可迁移的操作动作表示，能够映射到机器人执行。
• 构建一个能够基于视频输入与物体级标注生成可执行、多机器人操作计划的系统。
• 提供一个开源平台，用于在仿真环境和真实机械臂上模拟与部署学习到的计划。

提出的方法

• 利用语言学的、分层的动作表示来建模视频序列中动作、物体与工具之间的关系。
• 处理带有物体标签和边界框标注的输入视频，以提取时空动作片段。
• 通过将观察到的动作映射到基于物体操作关系的语义动作空间，推断出结构化的动作计划。
• 基于推断出的动作序列和物体依赖关系，为一个或多个机械臂构建协作操作计划。
• 采用模块化流程，整合视频理解、动作分割与计划生成，以实现机器人执行。
• 提供开源仿真与真实机器人接口，用于执行与验证学习到的计划。

实验结果

研究问题

• RQ1 机器人能否在极少监督的情况下，从非受限的、完整长度的YouTube烹饪视频中学习协作操作计划？
• RQ2 语言学的、分层的动作表示在多样的操作动作与多人协作场景中具有多强的泛化能力？
• RQ3 学习到的计划在多大程度上可被迁移至真实机器人系统中执行？
• RQ4 该框架在处理网络视频中动作执行的差异性、物体交互与工具使用方面的有效性如何？
• RQ5 系统能否从带有物体级标注的原始视频输入中生成可执行的、多机器人操作计划？

主要发现

• 该框架成功为100个YouTube烹饪视频（标准化数据集）生成了可执行的操作计划。
• 该系统在三段包含两人协作动作的完整长度视频中表现出稳健性能。
• 学习到的计划已在仿真环境中以及真实机器人手臂上成功执行，依托开源平台实现。
• 语言学的、分层的动作表示实现了在多样化操作动作与物体交互中的泛化能力。
• 该框架支持学习到的计划向真实机器人系统的迁移，验证了其实际适用性。
• 开源平台促进了框架的可复现性与可扩展性，为未来基于网络的机器人学习研究提供了支持。