[论文解读] Self-Supervised Sim-to-Real Adaptation for Visual Robotic Manipulation

Rae Jeong, Yusuf Aytar+6 more|arXiv (Cornell University)|Oct 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用 9

一句话总结

本文提出了一种用于视觉机器人操作的自监督模拟到现实适应方法，利用未标注的真实世界数据。通过利用基于序列的自监督方法，结合对比前向动力学（CFD）损失，将时间对比学习与动力学建模相结合，该方法提升了从仿真到现实的状态表征迁移性能，在仅使用5小时未标注真实数据的情况下，实现了62%的真实世界立方体堆叠成功率，优于领域随机化和领域对抗方法。

ABSTRACT

Collecting and automatically obtaining reward signals from real robotic visual data for the purposes of training reinforcement learning algorithms can be quite challenging and time-consuming. Methods for utilizing unlabeled data can have a huge potential to further accelerate robotic learning. We consider here the problem of performing manipulation tasks from pixels. In such tasks, choosing an appropriate state representation is crucial for planning and control. This is even more relevant with real images where noise, occlusions and resolution affect the accuracy and reliability of state estimation. In this work, we learn a latent state representation implicitly with deep reinforcement learning in simulation, and then adapt it to the real domain using unlabeled real robot data. We propose to do so by optimizing sequence-based self supervised objectives. These exploit the temporal nature of robot experience, and can be common in both the simulated and real domains, without assuming any alignment of underlying states in simulated and unlabeled real images. We propose Contrastive Forward Dynamics loss, which combines dynamics model learning with time-contrastive techniques. The learned state representation that results from our methods can be used to robustly solve a manipulation task in simulation and to successfully transfer the learned skill on a real system. We demonstrate the effectiveness of our approaches by training a vision-based reinforcement learning agent for cube stacking. Agents trained with our method, using only 5 hours of unlabeled real robot data for adaptation, shows a clear improvement over domain randomization, and standard visual domain adaptation techniques for sim-to-real transfer.

研究动机与目标

• 为解决在仿真环境中训练的基于视觉的强化学习智能体在部署到真实机器人时泛化能力差的问题，该问题源于仿真与现实之间的差距。
• 通过利用未标注的真实世界机器人数据，无需仿真与现实之间的配对或对齐数据，提升模拟到现实的迁移性能。
• 开发一种自监督表征学习方法，利用仿真和真实环境中机器人经验的时间结构。
• 在真实世界噪声、遮挡和分辨率变化条件下，增强长时程操作任务（如立方体堆叠）的状态表征鲁棒性。

提出的方法

• 采用两阶段训练流程：首先在仿真环境中使用合成图像和本体感知数据预训练视觉策略，然后利用未标注的真实机器人数据适应状态表征。
• 适应阶段采用基于序列的自监督目标——具体为对比前向动力学（CFD）损失，联合优化时间一致性与前向动力学预测。
• CFD损失通过比较观察-动作序列的正样本对和负样本对，促使网络学习到一种潜在空间表征，使得语义上相似的序列在潜在空间中彼此接近。
• 该方法联合优化强化学习目标、行为克隆（BC）以模仿基于状态的智能体，以及自监督的CFD损失，实现稳定高效的训练。
• 在基于状态的智能体和视觉智能体之间使用共享的经验回放缓冲区，促进知识迁移，提升样本效率和训练稳定性。
• 通过模态调优确保在适应过程中仿真与真实数据之间有效共享编码器，避免灾难性遗忘。

实验结果

研究问题

• RQ1 基于序列的自监督是否能在无需仿真与现实之间配对或对齐数据的情况下，提升视觉机器人操作中的模拟到现实迁移性能？
• RQ2 将前向动力学建模与时间对比学习相结合，如何增强真实世界机器人数据中的状态表征学习？
• RQ3 联合优化强化学习、行为克隆和自监督目标对策略性能和训练稳定性有何影响？
• RQ4 端到端的自监督适应是否优于采用模态调优的两阶段训练流程在模拟到现实迁移中的表现？
• RQ5 未标注的真实世界数据在多大程度上可减少对领域随机化或对抗性领域自适应在基于视觉的机器人控制中的依赖？

主要发现

• 所提出的两阶段自监督适应方法结合CFD目标，在真实世界立方体堆叠任务中实现了62%的任务成功率，显著优于领域随机化和领域对抗神经网络（DANN）。
• 采用TCN损失的端到端自监督适应性能下降，原因在于编码器共享不足，凸显了在两阶段训练过程中模态调优的重要性。
• 联合优化强化学习目标、行为克隆和自监督CFD损失至关重要——仅优化自监督损失会导致灾难性遗忘和任务性能崩溃。
• 在基于状态的智能体与视觉智能体之间使用共享经验回放缓冲区，显著提升了训练速度和稳定性，尤其在复杂长时程任务中表现突出。
• 在视觉智能体中引入行为克隆目标显著加速了学习过程，并在与自监督目标联合训练时仍能维持高性能。
• 消融实验表明，CFD损失通过同时利用时间结构和动作条件动力学，比简单的自监督目标（如TCN或DANN）更有效。