[论文解读] ORRB -- OpenAI Remote Rendering Backend

Maciek Chociej, Peter Welinder+1 more|arXiv (Cornell University)|Jun 26, 2019

Distributed and Parallel Computing Systems参考文献 11被引用 10

一句话总结

ORRB 是一个基于 Unity3D 并与 MuJoCo 集成的高性能、云优化远程渲染后端，专为机器人强化学习中的可扩展视觉领域随机化而设计。它支持批量、无头渲染合成机器人环境，可自定义外观和传感器数据（RGB、深度、语义分割、法线），在 4 张 V100 GPU 上实现高达 3,514 FPS 的性能，采用可扩展的客户端-服务器架构，结合 gRPC 和流水线 GPU 渲染技术。

ABSTRACT

We present the OpenAI Remote Rendering Backend (ORRB), a system that allows fast and customizable rendering of robotics environments. It is based on the Unity3d game engine and interfaces with the MuJoCo physics simulation library. ORRB was designed with visual domain randomization in mind. It is optimized for cloud deployment and high throughput operation. We are releasing it to the public under a liberal MIT license: https://github.com/openai/orrb .

研究动机与目标

• 通过支持可扩展的高性能视觉领域随机化，弥合机器人强化学习中仿真到现实的差距。
• 通过优化批量、无头和分布式渲染，克服传统游戏引擎在大规模机器学习工作负载中的局限性。
• 提供模块化、可扩展且易于集成的系统，用于生成视觉引导强化学习智能体所需的多样化合成训练数据。
• 支持单场景多状态渲染（SSMS），以减少每个实例的开销并最大化 GPU 利用率。
• 支持多种传感器输出（RGB、深度、语义分割、法线），并可配置材质、光照、相机和后期处理效果的随机化。

提出的方法

• 构建一个独立的基于 Unity3D 的渲染器二进制文件，从 XML 和配置文件加载场景与资源。
• 采用 gRPC 实现客户端-服务器架构，支持使用 Python 或其他语言进行语言无关的并行批量渲染。
• 使用轮询渲染纹理池和批量 DMA 传输，最小化 CPU-GPU 同步开销，实现流水线渲染。
• 支持四种渲染模式：RGB（带透明通道）、语义分割、深度图和屏幕空间法线图，支持每帧对相机、光照和材质参数进行随机化。
• 在云环境（如 Google Cloud、Azure）中部署，使用 Xvfb 和虚拟 GPU 设备，实现在 V100 GPU 上真正的无头渲染。
• 与 MuJoCo 集成以实现物理仿真，并使用专用相机校准工具在交互模式下完成真实世界相机校准。

实验结果

研究问题

• RQ1 如何改造游戏引擎以支持大规模机器学习工作负载下的高性能、批量、无头渲染？
• RQ2 哪些架构和实现选择能够实现在合成机器人环境中可扩展的高效视觉领域随机化？
• RQ3 基于 Unity 的渲染器在分布式、云基训练流水线中能实现多高的性能优化？
• RQ4 随着渲染服务器和 GPU 数量的增加，系统如何扩展？吞吐量的瓶颈是什么？
• RQ5 系统能否在保持高吞吐量的同时，生成多样化且高质量的传感器数据（RGB、深度、语义分割、法线），并实现细粒度随机化？

主要发现

• 当使用 4 张 V100 GPU 时，ORRB 达到峰值吞吐量 3,514 FPS，GPU 扩展效率在 3 张 GPU 时达到峰值，随后出现收益递减。
• 当每个客户端进程使用超过 8–12 个渲染服务器时，CPU 成为瓶颈，若不增加客户端进程数量，将进一步扩展受限。
• 在 88 个渲染服务器和 8 张 V100 GPU 的配置下，系统达到 3,438 FPS，表明 CPU 在达到饱和前具有良好的可扩展性。
• 系统支持完整的视觉领域随机化，可独立随机化材质、光照、相机抖动和后期处理效果。
• 采用流水线 GPU 渲染和批量内存传输可减少同步开销，实现高性能批量处理。
• ORRB 已成功用于纯合成数据训练 Dactyl（一款灵巧机械手），验证了其在真实世界仿真到现实（Sim2Real）迁移中的有效性。