[论文解读] Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments

Mayank Mittal, Calvin Yu+13 more|arXiv (Cornell University)|Jan 10, 2023

Modular Robots and Swarm Intelligence被引用 5

一句话总结

Orbit 是一个基于 NVIDIA Isaac Sim 构建的开源、GPU 加速仿真框架，统一了高保真物理仿真、照片级真实感渲染以及模块化的机器人-环境交互，适用于可扩展的机器人学习。它支持在 16 种机器人平台、10 种运动生成器和 20 多项基准任务上，实现强化学习策略的快速训练与演示数据的高效收集，同时兼容多种传感器和仿真到现实的部署。

ABSTRACT

We present Orbit, a unified and modular framework for robot learning powered by NVIDIA Isaac Sim. It offers a modular design to easily and efficiently create robotic environments with photo-realistic scenes and high-fidelity rigid and deformable body simulation. With Orbit, we provide a suite of benchmark tasks of varying difficulty -- from single-stage cabinet opening and cloth folding to multi-stage tasks such as room reorganization. To support working with diverse observations and action spaces, we include fixed-arm and mobile manipulators with different physically-based sensors and motion generators. Orbit allows training reinforcement learning policies and collecting large demonstration datasets from hand-crafted or expert solutions in a matter of minutes by leveraging GPU-based parallelization. In summary, we offer an open-sourced framework that readily comes with 16 robotic platforms, 4 sensor modalities, 10 motion generators, more than 20 benchmark tasks, and wrappers to 4 learning libraries. With this framework, we aim to support various research areas, including representation learning, reinforcement learning, imitation learning, and task and motion planning. We hope it helps establish interdisciplinary collaborations in these communities, and its modularity makes it easily extensible for more tasks and applications in the future.

研究动机与目标

• 为解决机器人学习研究中缺乏统一、模块化且高保真的仿真框架，以支持多样化的机器人平台、传感器模态和学习范式的问题。
• 通过提供一个标准化、可扩展的平台，集成逼真的物理仿真、渲染和传感器仿真，降低研究人员的入门门槛。
• 通过基于 GPU 的并行化和实时仿真，实现强化学习和模仿学习的高效训练与数据收集。
• 通过确保精确的接触动力学和与真实世界机器人框架（如 ROS 和基于 ZMQ 的控制管道）的兼容性，支持仿真到现实的迁移。
• 通过开源一个全面的框架，为表征学习、任务与运动规划以及机器人学习领域的跨学科协作建立共同基础。

提出的方法

• 利用 NVIDIA Isaac Sim 的 PhysX 5 和 Omniverse RTX 渲染引擎，实现对刚体和可变形体的高保真、实时仿真，具备照片级真实感视觉效果。
• 采用模块化架构，包含可重用的机器人平台、传感器、运动生成器和环境资源组件，支持快速组合任务与环境。
• 利用 GPU 加速的物理与传感器仿真，实现高吞吐量——最高可达每秒 125,000 个仿真步骤，支持快速策略训练与数据收集。
• 集成基于 CPU 和 GPU 的运动生成器（如逆运动学、模型预测控制、预训练的运动策略），以支持多样化的动作空间与控制策略。
• 通过基于 ZMQ 的通信和 1000 Hz 命令上采样，支持仿真到现实的部署，已在 Franka Emika 和 ANYmal-D 机器人上完成验证。
• 提供标准化的基准任务，涵盖刚体与可变形物体操作（如柜门开启、布料折叠、房间重排），支持多种传感器模态与观测空间。

Figure 1: Orbit ’s abstractions comprise World , analogous to the real world, and Agent , the computation graph behind the embodied system. The nodes in the agent’s graph can perform observation-based or action-based processing. Through a graph-cut over this computation graph and specifying an extri

实验结果

研究问题

• RQ1 一个统一的仿真框架能否高效支持多样化的机器人平台、传感器模态以及强化学习与模仿学习等学习范式？
• RQ2 仿真中高保真物理与渲染在多大程度上能实现接触丰富的操作与行走任务的仿真到现实成功迁移？
• RQ3 GPU 加速仿真在多大程度上能实现复杂机器人任务的可扩展数据收集与策略训练？
• RQ4 模块化、可扩展的框架能否降低开发开销，并加速不同应用领域中机器人学习的研究？
• RQ5 基于物理的传感器与噪声模型的集成，如何提升所学策略的真实感与泛化能力？

主要发现

• Orbit 支持在单张 GPU 上实现高达每秒 125,000 步的仿真吞吐量，可实现对完整机器人系统的规模化训练与评估。
• 该框架支持 16 种机器人平台，包括固定机械臂、移动操作臂和四足机器人，并提供 10 种基于 GPU 和 CPU 的运动生成器，以支持多样化的控制策略。
• 通过基于 ZMQ 的通信和 1000 Hz 命令上采样，成功在 Franka Emika 机器人上实现了仿真到现实的部署，实现了稳定的实时控制。
• 在仿真中训练的 ANYmal-D 行走强化学习策略，通过 ANYmal ROS 框架成功部署到真实机器人上，验证了 Orbit 中接触动力学的保真度。
• 在 RTX 3090 上，十个 640×480 分辨率的 RGB 相机渲染速度目前受限于约 270 FPS，尽管正在进行 GPU 加速优化以缓解此瓶颈。
• 该框架包含 20 多项基准任务——其中 11 项为刚体操作任务，13 项为可变形物体操作任务——为评估机器人学习算法提供了标准化测试平台。

Figure 2: Illustration of actuator groups for a legged mobile manipulator. This allows decomposing a complex system into sub-groups and defining specific transmission models for each of them flexibly.