[论文解读] PyRep: Bringing V-REP to Deep Robot Learning

Stephen James, Marc Freese+1 more|arXiv (Cornell University)|Jun 26, 2019

Reinforcement Learning in Robotics参考文献 9被引用 89

一句话总结

PyRep 提供定制的 Python API，一个新的渲染引擎，以及对 V-REP 的大幅提速，使在 RL、模仿学习和视觉任务中的深度机器人学习的快速原型开发成为可能。

ABSTRACT

PyRep is a toolkit for robot learning research, built on top of the virtual robotics experimentation platform (V-REP). Through a series of modifications and additions, we have created a tailored version of V-REP built with robot learning in mind. The new PyRep toolkit offers three improvements: (1) a simple and flexible API for robot control and scene manipulation, (2) a new rendering engine, and (3) speed boosts upwards of 10,000x in comparison to the previous Python Remote API. With these improvements, we believe PyRep is the ideal toolkit to facilitate rapid prototyping of learning algorithms in the areas of reinforcement learning, imitation learning, state estimation, mapping, and computer vision.

研究动机与目标

• 动机：在机器人领域推动使用仿真实现数据高效学习和仿真到现实的迁移。
• 将 PyRep 介绍为一个面向学习流程的、对 Python 友好的、在 V-REP 之上的高性能层。
• 在学习框架中提供更简单的 API 和机器人、感知与规划的集成点。

提出的方法

• 修改开源 V-REP，以实现对仿真循环的直接 Python 控制，从而降低延迟。
• 用最小化线程间通信延迟的 Python API 替代原有的 Python 远程 API。
• 用 OpenGL 3.0+ 渲染器扩展 V-REP，以在保持性能的同时实现更真实的渲染。
• 提供面向对象的 PyRep API，用于管理仿真句柄和机器人组件。
• 通过最少的 Python 代码，便于添加新机器人和运动规划能力。
• 展示强化学习、模仿学习、状态估计、建图和计算机视觉等用例。

实验结果

研究问题

• RQ1 与原始 V-REP Python API 相比，PyRep 是否能实现更快的环境交互，从而适用于数据需求较高的学习方法？
• RQ2 增强的渲染能力和 API 设计是否提高了机器人学习工作流的可用性和集成性？
• RQ3 PyRep 在多大程度上能加速机器人环境中学习算法的快速原型开发？

主要发现

• PyRep 在环境交互方面比原始 V-REP Python API 提升高达 10,000× 的速度。
• 引入具有阴影渲染的 OpenGL 3.0+ 渲染器，用于 V-REP 场景。
• 提供直观的面向对象的 Python API，用于管理仿真句柄、机器人和传感器。
• 只需几行 Python 代码即可简化添加新机器人和运动规划能力。
• 使 PyRep 成为在机器人领域用于强化学习、模仿学习、状态估计、建图和计算机视觉的实用工具包。