[论文解读] RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real

Kanishka Rao, C.J. Harris+4 more|arXiv (Cornell University)|Jun 16, 2020

Reinforcement Learning in Robotics参考文献 31被引用 14

一句话总结

本文提出 RL-CycleGAN，一种任务感知的图像翻译方法，通过在域间翻译下强制 Q 值不变性，提升视觉强化学习从仿真到真实世界中的迁移性能。通过将 RL-场景一致性损失整合到 CycleGAN 框架中，该方法在使仿真图像外观更逼真时，仍能保留与任务相关的视觉语义，仅使用极少的真实世界数据即实现最先进的真实世界抓取性能——仅使用 5,000 个真实世界轨迹，成功率最高达 94%。

ABSTRACT

Deep neural network based reinforcement learning (RL) can learn appropriate visual representations for complex tasks like vision-based robotic grasping without the need for manually engineering or prior learning a perception system. However, data for RL is collected via running an agent in the desired environment, and for applications like robotics, running a robot in the real world may be extremely costly and time consuming. Simulated training offers an appealing alternative, but ensuring that policies trained in simulation can transfer effectively into the real world requires additional machinery. Simulations may not match reality, and typically bridging the simulation-to-reality gap requires domain knowledge and task-specific engineering. We can automate this process by employing generative models to translate simulated images into realistic ones. However, this sort of translation is typically task-agnostic, in that the translated images may not preserve all features that are relevant to the task. In this paper, we introduce the RL-scene consistency loss for image translation, which ensures that the translation operation is invariant with respect to the Q-values associated with the image. This allows us to learn a task-aware translation. Incorporating this loss into unsupervised domain translation, we obtain RL-CycleGAN, a new approach for simulation-to-real-world transfer for reinforcement learning. In evaluations of RL-CycleGAN on two vision-based robotics grasping tasks, we show that RL-CycleGAN offers a substantial improvement over a number of prior methods for sim-to-real transfer, attaining excellent real-world performance with only a modest number of real-world observations.

研究动机与目标

• 解决视觉强化学习中的仿真到真实世界差距，而无需依赖任务特定的工程设计或大量真实世界数据采集。
• 开发一种方法，自动学习将仿真图像翻译为逼真图像，同时保留对强化学习策略性能至关重要的特征。
• 通过引入基于 Q 值不变性的任务感知损失函数，减少对领域随机化或手动特征工程的依赖。
• 仅使用离策略真实世界数据和仿真数据，实现有效策略迁移，最小化在线策略真实世界轨迹采集。

提出的方法

• 提出 RL-场景一致性损失，强制在 CycleGAN 图像翻译操作下，状态的 Q 值保持不变。
• 将该损失与标准 CycleGAN 训练目标结合，联合训练一个将仿真图像翻译为逼真图像的生成模型。
• 利用从强化学习策略中预训练的 Q 函数来监督图像翻译过程，确保关键任务特征得以保留。
• 采用循环一致性机制，维持输入图像与翻译后图像之间的结构和语义保真度，防止模式崩溃。
• 在离策略真实世界经验与仿真数据上训练 GAN，避免在训练期间需要在线策略真实世界轨迹。
• 在策略训练期间应用训练好的翻译模型，对仿真观测进行适应，实现仿真环境中的端到端策略学习并具备真实世界泛化能力。

实验结果

研究问题

• RQ1 能否在不依赖人工设计任务特定特征的情况下，使仿真到真实世界迁移的领域自适应方法具备任务感知能力？
• RQ2 在图像翻译下保持 Q 值不变性，能否作为在仿真到真实世界迁移中保留与任务相关视觉语义的有效信号？
• RQ3 RL-CycleGAN 在多大程度上可减少实现视觉机器人抓取高性能所需的真实世界轨迹数量？
• RQ4 与 GraspGAN 和 RCAN 等先前方法相比，RL-CycleGAN 在真实世界性能和数据效率方面表现如何？

主要发现

• 仅使用 5,000 个真实世界轨迹，RL-CycleGAN 在 Robot 1 上实现了 75% 的抓取成功率，优于基线方法（后者需 580,000 个真实世界轨迹才能达到 87% 成功率）。
• 在 Robot 2 上，RL-CycleGAN 使用 3,000 个真实世界轨迹实现 72% 的成功率（单箱抓取）——显著优于基线方法（后者使用 80,000 个真实世界轨迹仅达到 36% 成功率）。
• 使用 80,000 个真实世界轨迹时，RL-CycleGAN 在单箱抓取中实现 95% 成功率，在多箱抓取中实现 93% 成功率，达到或超过当前最先进性能。
• 在使用 10,000 个真实世界轨迹进行在线策略微调后，RL-CycleGAN 达到 94% 抓取成功率，与 RCAN 性能相当，但仅使用 5,000 个离策略真实世界轨迹，远低于 RCAN 所需的 28,000 个。
• 在使用 5,000 个离策略和 5,000 个在线策略真实世界轨迹时，RL-CycleGAN 实现 90% 抓取成功率，展现出极强的数据效率，性能与 RCAN 相当，且无需领域随机化。
• 结合在线策略微调后，该方法可在无额外真实世界数据的情况下实现零样本迁移至真实世界，成功率达 70%，优于仅使用领域随机化的方案。