[论文解读] OffWorld Gym: open-access physical robotics environment for real-world reinforcement learning benchmark and research

Ashish Kumar, Toby Buckley+4 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics参考文献 67被引用 8

一句话总结

本论文介绍了 OffWorld Gym，这是一个开放获取、可远程访问的实体机器人环境，用于真实世界强化学习（RL）基准测试。它提供了四个真实世界的RL任务——两个离散控制任务和两个连续控制任务——使用仅依赖视觉输入导航的移动机器人，并提供模拟环境用于预训练。该系统通过标准的 OpenAI Gym API 实现端到端的真实硬件训练，实验结果证实了其可行性，成功训练了 Double DQN 和 SAC 代理。

ABSTRACT

Success stories of applied machine learning can be traced back to the datasets and environments that were put forward as challenges for the community. The challenge that the community sets as a benchmark is usually the challenge that the community eventually solves. The ultimate challenge of reinforcement learning research is to train real agents to operate in the real environment, but until now there has not been a common real-world RL benchmark. In this work, we present a prototype real-world environment from OffWorld Gym -- a collection of real-world environments for reinforcement learning in robotics with free public remote access. Close integration into existing ecosystem allows the community to start using OffWorld Gym without any prior experience in robotics and takes away the burden of managing a physical robotics system, abstracting it under a familiar API. We introduce a navigation task, where a robot has to reach a visual beacon on an uneven terrain using only the camera input and provide baseline results in both the real environment and the simulated replica. To start training, visit https://gym.offworld.ai

研究动机与目标

• 建立一个标准化、公开可访问的真实世界强化学习基准，用于物理机器人领域。
• 通过熟悉的 OpenAI Gym API 抽象硬件复杂性，降低强化学习研究的入门门槛。
• 通过提供远程访问和机构维护，实现对真实机器人系统的可扩展、长期研究。
• 通过提供与真实环境几乎完全一致的模拟环境，弥合仿真到现实的差距。
• 加速在非结构化真实环境中样本高效、基于视觉的移动机器人强化学习的进展。

提出的方法

• 该系统使用配备 RGB 和深度摄像头的移动机器人，提供四个真实世界的强化学习任务——在不平坦地形和障碍物丰富的环境中导航。
• 所有环境均可通过标准化的 OpenAI Gym 接口访问，抽象了物理硬件，实现了与现有强化学习框架的无缝集成。
• 真实环境由 OffWorld Inc. 主机托管并维护，通过时间预约系统实现远程访问，以确保可扩展性。
• 环境的模拟版本与真实环境高度一致，支持预训练和领域随机化。
• 系统支持离散和连续控制形式，基于与目标的距离以及任务特定的奖励塑造，采用稀疏或密集奖励。
• 该架构支持仅使用视觉输入的端到端训练，无需访问 GPS 或定位数据。

实验结果

研究问题

• RQ1 仅使用视觉输入，深度强化学习代理是否能在真实世界、非结构化的环境中成功学习导航策略？
• RQ2 当通过远程访问在真实机器人硬件上训练时，标准强化学习算法（如 Double DQN、SAC）的性能如何扩展？
• RQ3 OffWorld Gym 中的模拟环境在多大程度上可作为真实世界强化学习基准和迁移学习的有效代理？
• RQ4 在开放、共享的真实物理环境中，是否能够实现稳健且可泛化的策略？
• RQ5 如何在最小化硬件和维护开销的前提下，通过机构维护和时间预约系统，实现长期、社区驱动的真实世界强化学习基准测试？

主要发现

• 仅使用摄像头输入对移动机器人进行端到端训练，成功在真实世界环境中解决了简单的导航任务，证明了在物理系统中基于视觉的强化学习的可行性。
• Double DQN 和 SAC 代理在 MonolithDiscrete 环境中实现了稳定的训练曲线并成功抵达目标，证实了该系统在强化学习训练中的可行性。
• 模拟环境与真实环境高度一致，支持可靠的预训练和迁移学习，可降低真实世界部署中的样本复杂度。
• 远程访问模式使研究人员无需拥有或维护物理硬件即可训练和评估强化学习代理，显著降低了进入门槛。
• 通过机构维护和硬件访问的时间预约系统，该系统支持长期、可扩展的基准测试。
• 排行榜和开放获取模式有望推动社区范围内对真实世界机器人强化学习算法的比较与进步。