[论文解读] Task-Embedded Control Networks for Few-Shot Imitation Learning

Stephen James, Michael Bloesch+1 more|arXiv (Cornell University)|Oct 8, 2018

Domain Adaptation and Few-Shot Learning被引用 35

一句话总结

该论文提出任务嵌入控制网络（TecNets），一种元模仿学习框架，通过任务嵌入网络从视觉观测中生成紧凑且具有区分性的示范任务表征。该方法通过将控制网络基于这些嵌入进行条件化，实现了少样本视觉-运动策略学习，在模拟到现实的迁移后，无需额外的真实世界微调，即可在真实世界放置任务中实现72.97%的一次性成功率。

ABSTRACT

Much like humans, robots should have the ability to leverage knowledge from previously learned tasks in order to learn new tasks quickly in new and unfamiliar environments. Despite this, most robot learning approaches have focused on learning a single task, from scratch, with a limited notion of generalisation, and no way of leveraging the knowledge to learn other tasks more efficiently. One possible solution is meta-learning, but many of the related approaches are limited in their ability to scale to a large number of tasks and to learn further tasks without forgetting previously learned ones. With this in mind, we introduce Task-Embedded Control Networks, which employ ideas from metric learning in order to create a task embedding that can be used by a robot to learn new tasks from one or more demonstrations. In the area of visually-guided manipulation, we present simulation results in which we surpass the performance of a state-of-the-art method when using only visual information from each demonstration. Additionally, we demonstrate that our approach can also be used in conjunction with domain randomisation to train our few-shot learning ability in simulation and then deploy in the real world without any additional training. Once deployed, the robot can learn new tasks from a single real-world demonstration.

研究动机与目标

• 解决模仿学习中持续少样本学习的不足，即模型在任务特定适应后会遗忘先前学习的任务或丧失元学习能力。
• 在仅使用一次或几次视觉示范的情况下，实现数据高效的新型操作任务学习，且无需任务特定的再训练。
• 开发一种可扩展的元学习框架，支持无限数量任务的学习，且不会发生灾难性遗忘。
• 实现完全在仿真环境中训练的少样本模仿策略在真实世界中的模拟到现实迁移，部署后无需任何真实世界微调。
• 构建统一架构，联合优化任务嵌入与控制策略，实现端到端的视觉-运动控制。

提出的方法

• 使用任务嵌入网络将单次示范的RGB观测编码为紧凑且任务特定的嵌入（称为“句子”）。
• 将控制网络基于当前观测和静态任务嵌入进行条件化，以闭环方式生成动作。
• 使用元学习目标联合训练任务嵌入网络和控制网络，以实现通过少量梯度步数快速适应新任务。
• 在仿真训练期间应用领域随机化，以增强鲁棒性，并成功实现策略的模拟到现实迁移。
• 仅使用示范中的视觉观测（RGB图像），避免依赖状态或动作标签。
• 利用度量学习原理，确保语义上相似的任务（例如，放置相似容器）在潜在空间中彼此靠近。

实验结果

研究问题

• RQ1 单一神经网络架构能否在不遗忘的前提下，学习并保留大量多样化操作任务的知识？
• RQ2 任务嵌入机制能否基于视觉相似性，实现对新未见任务的零样本或少样本泛化？
• RQ3 完全在仿真环境中训练的少样本模仿策略能否在真实世界中成功部署，且无需任何真实世界微调？
• RQ4 所提出方法在仅使用示范视觉信息的情况下，是否优于最先进水平的元模仿学习基线？
• RQ5 当训练数据仅限于特定物体类别（如碗）时，该方法能否泛化到具有不同物体形状和容器类型的真实世界任务？

主要发现

• TecNets 在仿真训练并部署后，无需任何真实世界微调，即可在真实世界放置任务中实现72.97%的一次性成功率。
• 与最先进水平的MIL基线相比，该方法在仅使用示范视觉信息的仿真环境中表现更优，无论是一次性还是少样本设置下成功率均更高。
• 该模型在无限数量任务的持续学习中保持其少样本学习能力，且在持续学习过程中未出现灾难性遗忘。
• 领域随机化的使用实现了成功的模拟到现实迁移，即使仅在碗上训练，策略仍能泛化到真实世界中的杯子、盘子和锅等物体。
• 失败案例主要源于物体形状差异（如杯子和盘子），表明模型性能对物体几何分布偏移较为敏感。
• 学习到的任务嵌入空间表现出有意义的结构，相似任务（如在相似容器中放置）在潜在空间中聚类得较为紧密，如补充材料中的可视化所示。