[论文解读] Zero-Shot Skill Composition and Simulation-to-Real Transfer by Learning Task Representations

Zhanpeng He, Ryan Julian+6 more|arXiv (Cornell University)|Oct 4, 2018

Reinforcement Learning in Robotics参考文献 17被引用 16

一句话总结

本文提出了一种通过学习连续任务表征并结合模型预测控制（MPC）来实现机器人领域零样本技能组合与仿真到现实的迁移方法。通过重用预训练的仿真策略，该方法利用学习到的技能潜在表示的动态序列规划，在无需进一步真实世界微调的情况下，实现了对未见任务（如绘图和推块）的有效现实世界性能。

ABSTRACT

Simulation-to-real transfer is an important strategy for making reinforcement learning practical with real robots. Successful sim-to-real transfer systems have difficulty producing policies which generalize across tasks, despite training for thousands of hours equivalent real robot time. To address this shortcoming, we present a novel approach to efficiently learning new robotic skills directly on a real robot, based on model-predictive control (MPC) and an algorithm for learning task representations. In short, we show how to reuse the simulation from the pre-training step of sim-to-real methods as a tool for foresight, allowing the sim-to-real policy adapt to unseen tasks. Rather than end-to-end learning policies for single tasks and attempting to transfer them, we first use simulation to simultaneously learn (1) a continuous parameterization (i.e. a skill embedding or latent) of task-appropriate primitive skills, and (2) a single policy for these skills which is conditioned on this representation. We then directly transfer our multi-skill policy to a real robot, and actuate the robot by choosing sequences of skill latents which actuate the policy, with each latent corresponding to a pre-learned primitive skill controller. We complete unseen tasks by choosing new sequences of skill latents to control the robot using MPC, where our MPC model is composed of the pre-trained skill policy executed in the simulation environment, run in parallel with the real robot. We discuss the background and principles of our method, detail its practical implementation, and evaluate its performance by using our method to train a real Sawyer Robot to achieve motion tasks such as drawing and block pushing.

研究动机与目标

• 解决现有仿真到现实迁移方法在单一任务上训练策略所导致的泛化能力不足问题。
• 实现实现多技能策略在真实机器人上的部署，使其能够在不进行额外真实世界微调的情况下泛化到未见任务。
• 利用预训练的仿真策略作为MPC任务规划的预见模型，应用于真实世界。
• 开发一种连续的、参数化的任务特定技能表征，以实现组合泛化。

提出的方法

• 该方法学习一个连续潜在空间（技能嵌入），通过仿真数据对任务相关的基础技能进行参数化。
• 训练一个单一共享策略，使其基于这些技能潜在表示进行条件控制，从而在仿真中执行多种任务。
• 真实机器人使用MPC规划技能潜在表示的序列，其中每个潜在表示对应一个预学习的基础控制器。
• MPC模型在仿真中并行运行预训练策略，同时与真实机器人协同工作，实现实时规划与适应。
• 系统将仿真环境作为动力学模型用于预见能力，使其在执行前能够预测技能序列的结果。
• 策略被直接迁移到真实机器人上执行，并通过为未见任务动态选择的技能潜在表示序列进行控制。

实验结果

研究问题

• RQ1 一个基于学习到的任务表征的单一策略，能否在真实世界中泛化到未见的机器人任务？
• RQ2 使用预训练仿真策略作为预见模型的MPC在实时任务规划中效果如何？
• RQ3 能否通过任务表征的连续潜在空间实现零样本技能组合？
• RQ4 在不进行真实世界微调的情况下，重用仿真环境进行规划在多大程度上提升了仿真到现实的迁移性能？
• RQ5 该方法在多样化的现实世界任务（如绘图和推块）上的表现如何？

主要发现

• 该方法在真实Sawyer机器人上实现了对未见任务的零样本迁移，且无需任何额外的真实世界策略训练。
• 系统成功使用仅预训练的仿真策略和MPC完成了如绘图和推块等复杂任务。
• 连续技能潜在空间的使用使得基础技能能够有效组合，以实现新的任务目标。
• 基于MPC的规划结合仿真预见能力，即使在仿真与现实之间存在领域差异的情况下，也能实现鲁棒的实时控制。
• 通过在潜在空间中插值，该方法实现了跨任务的泛化，即通过重用同一策略处理多样化任务序列。