[论文解读] VRKitchen2.0-IndoorKit: A Tutorial for Augmented Indoor Scene Building in Omniverse

Yizhou Zhao, Steven Gong+3 more|arXiv (Cornell University)|Jun 23, 2022

Human Motion and Animation被引用 4

一句话总结

本文介绍了 IndoorKit，一个集成于 NVIDIA Omniverse 的基于 Python 的工具包，用于构建逼真、物理模拟的室内环境。它使研究人员能够合成多样化的室内场景，应用场景随机化，并与机器学习模型集成，以支持机器人控制和角色动画等具身智能任务，所有操作均通过统一、可扩展的管道完成，利用 USD 和 GPU 加速模拟。

ABSTRACT

With the recent progress of simulations by 3D modeling software and game engines, many researchers have focused on Embodied AI tasks in the virtual environment. However, the research community lacks a platform that can easily serve both indoor scene synthesis and model benchmarking with various algorithms. Meanwhile, computer graphics-related tasks need a toolkit for implementing advanced synthesizing techniques. To facilitate the study of indoor scene building methods and their potential robotics applications, we introduce INDOORKIT: a built-in toolkit for NVIDIA OMNIVERSE that provides flexible pipelines for indoor scene building, scene randomizing, and animation controls. Besides, combining Python coding in the animation software INDOORKIT assists researchers in creating real-time training and controlling avatars and robotics. The source code for this toolkit is available at https://github.com/realvcla/VRKitchen2.0-Tutorial, and the tutorial along with the toolkit is available at https://vrkitchen20-tutorial.readthedocs.io/en/

研究动机与目标

• 解决缺乏同时支持室内场景合成与具身智能算法基准测试的集成平台的问题。
• 在 Omniverse 中提供一个灵活、可扩展的工具包，以简化机器人与人工智能研究中的场景构建、随机化与模拟。
• 通过逼真的 3D 资源和物理模拟，实现实时训练与角色及机器人的控制。
• 通过 USD 实现不同 3D 格式（如 3D-Front、SAPIEN、iTHOR）与模拟工作流之间的互操作性。
• 支持将机器学习模型集成到模拟工作流中，以支持导航、操作和动画等下游任务。

提出的方法

• 利用 NVIDIA Omniverse 的 Python API，暴露底层模拟与渲染控制，用于场景构建与动画。
• 支持多种室内场景数据集（如 3D-Front、iTHOR、SAPIEN），并支持通过元数据与可视化工具自定义数据集的集成。
• 采用 USD（通用场景描述）作为标准化、压缩的格式，用于存储和传输包含模型、纹理、灯光与动画的完整场景数据。
• 通过 Omniverse 的物理引擎支持刚体、软体、刚性连接体和流体体，实现实时物理模拟。
• 通过 Python 脚本与深度学习框架（PyTorch、TensorFlow）集成，支持在模拟中端到端训练神经策略。
• 提供内置的随机化策略，用于场景背景、材质、装饰与照明，以提升 AI 训练中的泛化能力。

实验结果

研究问题

• RQ1 如何通过统一的工具包简化为具身智能研究构建逼真、物理准确的室内环境？
• RQ2 在单一模拟平台中集成 3D 场景合成、物理模拟与机器学习训练的关键技术需求是什么？
• RQ3 场景随机化策略如何提升 AI 代理在模拟室内环境中对复杂性的鲁棒性与泛化能力？
• RQ4 标准化场景描述格式（USD）在实现 3D 建模工具与模拟引擎之间互操作性方面发挥什么作用？
• RQ5 研究人员如何高效地将自定义数据集与预训练模型集成到机器人与角色控制的模拟工作流中？

主要发现

• IndoorKit 通过 USD 实现了对多种 3D 室内场景数据集（包括 3D-Front、iTHOR 和 SAPIEN）的无缝集成，构建了单一、可扩展的模拟工作流。
• 场景随机化策略（背景、材质、装饰与照明）显著提升了训练环境的多样性与真实感。
• 通过与 AMASS 和 Mixamo 资源的集成，实现了对可动画角色与机器人代理的实时控制，确保在复杂场景中实现物理精确的运动。
• Omniverse 中的 GPU 加速物理模拟与神经网络训练，实现了低延迟、高保真度的复杂交互模拟。
• 该工具包支持从场景加载与标注到模型训练与评估的端到端工作流，显著降低了开发开销。
• 全面的文档、教程以及通过 GitHub 和 ReadTheDocs 提供的开源可用性，降低了具身智能与机器人研究领域研究人员的入门门槛。