[论文解读] Robobarista: Learning to Manipulate Novel Objects via Deep Multimodal Embedding

Jaeyong Sung, Seok Hyun Jin+2 more|arXiv (Cornell University)|Jan 12, 2016

Robot Manipulation and Learning参考文献 9被引用 13

一句话总结

本文提出 Robobarista，一种深度多模态嵌入模型，通过在不同物体间迁移相似部件的操纵策略，使机器人能够操作全新的家用物品。该模型利用3D点云、自然语言指令和轨迹的共享嵌入空间，实现了操纵技能的零样本迁移，在未见过的电器（如摩卡壶）上成功执行操作，且无需事先接触这些设备。

ABSTRACT

There is a large variety of objects and appliances in human environments, such as stoves, coffee dispensers, juice extractors, and so on. It is challenging for a roboticist to program a robot for each of these object types and for each of their instantiations. In this work, we present a novel approach to manipulation planning based on the idea that many household objects share similarly-operated object parts. We formulate the manipulation planning as a structured prediction problem and learn to transfer manipulation strategy across different objects by embedding point-cloud, natural language, and manipulation trajectory data into a shared embedding space using a deep neural network. In order to learn semantically meaningful spaces throughout our network, we introduce a method for pre-training its lower layers for multimodal feature embedding and a method for fine-tuning this embedding space using a loss-based margin. In order to collect a large number of manipulation demonstrations for different objects, we develop a new crowd-sourcing platform called Robobarista. We test our model on our dataset consisting of 116 objects and appliances with 249 parts along with 250 language instructions, for which there are 1225 crowd-sourced manipulation demonstrations. We further show that our robot with our model can even prepare a cup of a latte with appliances it has never seen before.

研究动机与目标

• 使机器人能够将操纵技能泛化到此前从未接触过的新型物体上。
• 解决为每种独特的家用电器手动编程机器人所带来的可扩展性挑战。
• 学习视觉、语言和运动数据之间的共享语义表示，以支持跨物体的操纵技能迁移。
• 通过一种新型众包平台，收集大规模、多样化的操纵示范数据集。
• 通过在共享嵌入空间中进行最近邻搜索，实现实时推理。

提出的方法

• 训练一个深度神经网络，将物体部件的3D点云、自然语言指令和操纵轨迹嵌入到共享潜在空间中。
• 使用自监督方法在单模态数据上预训练网络的底层，以学习鲁棒的多模态特征。
• 在微调过程中引入基于损失的边界，使语义上相似的（点云，语言，轨迹）三元组更接近，而语义上不相似的则被推开。
• 模型采用结构化预测框架，将嵌入空间中最近邻作为新输入的预测轨迹。
• 一种名为 Robobarista 的新型众包平台使非专家能够通过网络录制操纵示范，共收集了 1225 个示范，涵盖 116 件物体的 249 个部件。
• 轨迹以部件为中心的坐标系表示，以实现在具有相似部件（如手柄、杠杆）的不同物体之间的迁移。

实验结果

研究问题

• RQ1 机器人能否基于共享的部件级功能，从已知物体向全新、未见过的物体迁移操纵策略？
• RQ2 如何将视觉、语言和运动数据联合嵌入到共享空间中，以实现多模态操纵技能的迁移？
• RQ3 通过预训练和基于边界损失的微调，深度神经网络能否学习到一个支持零样本泛化的语义有意义的嵌入空间？
• RQ4 众包平台在收集多样化、高质量的操纵示范数据以训练此类模型方面有多有效？
• RQ5 从不同物体类型迁移而来的轨迹，在新的、未见过的电器上成功执行的程度如何？

主要发现

• 该模型成功地将来自完全不同物体（如灯的开关到摩卡壶）的操纵轨迹迁移，并在 PR2 机器人上无需重新训练即成功执行。
• 机器人使用从未见过的摩卡壶成功制作了一杯拿铁，展示了对新型电器的零样本泛化能力。
• 在包含 116 件物体、249 个部件和 1225 个众包示范的收集数据集上，该模型优于所有基线方法。
• 与标准预训练方法相比，对网络底层进行预训练显著提升了性能。
• 在微调过程中使用损失增强的边界，使嵌入空间更具语义意义，从而提高了零样本迁移的准确性。
• 对学习到的嵌入空间进行 t-SNE 可视化显示，相似的点云和语言指令呈现出清晰的聚类，表明语义对齐效果良好。