[论文解读] RoboHive: A Unified Framework for Robot Learning

Vikas Kumar, Rutav Shah+6 more|arXiv (Cornell University)|Oct 10, 2023

Robot Manipulation and LearningEngineering被引用 3

一句话总结

RoboHive 是一个开源的统一机器人学习框架，整合了多种高保真物理仿真环境与真实世界环境，具备丰富的视觉多样性。它提供标准化的类似 Gym 的 API，通过统一的 RobotClass 抽象实现硬件抽象，支持远程操控，提供专家示范数据集（RoboSet），并配备全面的基线模型——实现了无缝的仿真到现实的迁移，加速了模仿学习、强化学习及多任务学习的研究。

ABSTRACT

We present RoboHive, a comprehensive software platform and ecosystem for research in the field of Robot Learning and Embodied Artificial Intelligence. Our platform encompasses a diverse range of pre-existing and novel environments, including dexterous manipulation with the Shadow Hand, whole-arm manipulation tasks with Franka and Fetch robots, quadruped locomotion, among others. Included environments are organized within and cover multiple domains such as hand manipulation, locomotion, multi-task, multi-agent, muscles, etc. In comparison to prior works, RoboHive offers a streamlined and unified task interface taking dependency on only a minimal set of well-maintained packages, features tasks with high physics fidelity and rich visual diversity, and supports common hardware drivers for real-world deployment. The unified interface of RoboHive offers a convenient and accessible abstraction for algorithmic research in imitation, reinforcement, multi-task, and hierarchical learning. Furthermore, RoboHive includes expert demonstrations and baseline results for most environments, providing a standard for benchmarking and comparisons. Details: https://sites.google.com/view/robohive

研究动机与目标

• 通过将多样化的环境、算法和硬件接口统一到一个可维护的生态系统中，解决机器人学习软件领域的碎片化问题。
• 通过提供一致且易于访问的 API，以及开箱即用的仿真与真实世界部署支持，降低研究人员的入门门槛。
• 通过标准化指标、专家示范（RoboSet）和多个任务族的基线结果，实现稳健的基准测试。
• 通过在环境中强调高物理保真度和丰富的视觉多样性，支持视觉泛化与真实世界迁移。
• 通过版本化发布、持续集成测试和详尽的文档，促进可复现性和社区驱动开发。

提出的方法

• 该框架引入了统一的 RobotClass 抽象，抽象化仿真和物理机器人，通过单个配置标志实现无缝的仿真到现实迁移。
• 利用 MuJoCo 实现高保真物理仿真，并集成丰富的视觉资产、纹理和场景构型，以增强视觉多样性。
• 原生支持通过键盘、空间鼠标和 VR 控制器进行远程操控，从而为模仿学习收集人类标注的专家示范（RoboSet）。
• 平台提供类似 Gym 的 API，便于与强化学习和模仿学习算法集成，确保与现有 RL 库（如 TorchRL 和 mjRL）的兼容性。
• 在关键环境中原生支持视觉域随机化和场景布局随机化，以提升对视觉变化的鲁棒性。
• 所有环境均进行版本控制并配合持续集成，确保在软件发布周期中保持可靠性和可复现性。

Figure 1: A subset of RoboHive ’s task-suites. [in clockwise order] Multi-Task Suite : Environments facilitating multiple tasks at once. Arms Suite : Diverse arms (w/ grippers) exposed to tabletop manipulation tasks. Hand Suite : Diverse hands exposed to tasks requiring dexterity. Locomotion Suite :

实验结果

研究问题

• RQ1 一个统一的软件框架在多任务和多硬件环境下，如何简化机器人学习算法的开发与基准测试？
• RQ2 仿真环境中高视觉与高物理保真度在多大程度上能提升策略的泛化能力和真实世界迁移性能？
• RQ3 标准化且易用的接口在多智能体、模仿学习和分层强化学习研究中是否能显著加速研究进程？
• RQ4 通过远程操控收集的专家示范在复杂操作与运动任务中，对实现样本高效学习的有效性如何？
• RQ5 视觉多样性与域随机化对视觉感知控制策略鲁棒性的影响是什么？

主要发现

• RoboHive 支持从操作、运动、灵巧手控、骨骼肌系统智能体到可变形物体的广泛任务，其环境基于 MuJoCo 构建，具备高物理保真度。
• 通过统一的 RobotClass 抽象，仅需更改一个标志即可实现无缝的仿真到现实迁移，显著降低部署开销。
• RoboSet 是一个大规模的人工远程操控数据集，包含 12 种厨房技能，已开源，支持离线学习与模仿学习研究。
• 提供了常用算法的基线模型并进行版本管理，通过跨版本的性能跟踪确保可复现性并检测性能退化。
• 实验表明，在运动任务中（如 ROBEL 搭载 D’Kitty），视觉表征的表现不如仅依赖本体感觉的基线模型，凸显了视觉泛化的挑战。
• 在灵巧操作任务中（如 Pen、Relocate），仅使用 25 次示范的模仿行为克隆方法表现困难，凸显了从有限专家数据中学习多模态动作分布的挑战。

Figure 2: RoboHive presents environments with rich visual diversity to aid research in visual generalization and places high emphasis on physical realism to facilitate the real-world transfer.