[论文解读] NViSII: A Scriptable Tool for Photorealistic Image Generation

Nathan Morrical, Jonathan Tremblay+5 more|arXiv (Cornell University)|May 28, 2021

Advanced Vision and Imaging参考文献 35被引用 9

一句话总结

NViSII 是一个基于 NVIDIA OptiX 和 AI 去噪器的开源 Python 射线追踪器，支持对复杂 3D 场景进行完全程序化控制，可生成高保真度的逼真图像。它支持基于物理的材质、动态光照、相机效果（如景深、运动模糊）以及元数据导出（如分割图、深度图、光流），相比基于光栅化的替代方案，在目标检测和姿态估计任务中展现出更优的仿真到现实的迁移性能。

ABSTRACT

We present a Python-based renderer built on NVIDIA's OptiX ray tracing engine and the OptiX AI denoiser, designed to generate high-quality synthetic images for research in computer vision and deep learning. Our tool enables the description and manipulation of complex dynamic 3D scenes containing object meshes, materials, textures, lighting, volumetric data (e.g., smoke), and backgrounds. Metadata, such as 2D/3D bounding boxes, segmentation masks, depth maps, normal maps, material properties, and optical flow vectors, can also be generated. In this work, we discuss design goals, architecture, and performance. We demonstrate the use of data generated by path tracing for training an object detector and pose estimator, showing improved performance in sim-to-real transfer in situations that are difficult for traditional raster-based renderers. We offer this tool as an easy-to-use, performant, high-quality renderer for advancing research in synthetic data generation and deep learning.

研究动机与目标

• 解决现有合成数据工具在完全可编程性、逼真度以及对高级渲染功能支持方面的局限性。
• 通过 Python API 实现研究人员对复杂、随机化 3D 场景的程序化生成，包括基于物理的材质、光照和相机效果。
• 通过生成包含准确元数据（如深度、法线、光流）的高质量合成数据，提升计算机视觉任务中仿真到现实的泛化能力。
• 提供轻量化、易于安装且跨平台的解决方案，支持多 GPU 加速和无头渲染。
• 展示基于物理的渲染在训练鲁棒视觉模型方面的效用，尤其在玻璃、金属等具有挑战性的材质上。

提出的方法

• 该工具基于 NVIDIA 的 OptiX 射线追踪引擎，采用 C++/CUDA 后端，通过硬件加速路径追踪实现逼真渲染。
• 采用数据驱动的实体-组件系统（ECS）架构，将场景元素（如网格、材质、光源）解耦，实现灵活且可扩展的程序化场景生成。
• 提供全面的 Python API，支持运行时创建和修改场景，包括对物体位置、材质和光照的动态随机化，以实现有效的领域随机化。
• 系统支持多种元数据类型的导出，包括 2D/3D 框、分割掩码、深度图、法线图、反照率图和光流向量。
• 集成 NVIDIA 的 AI 去噪器，在保持图像质量的同时加速渲染，即使在复杂场景下也能实现交互式帧率。
• 通过 pip 分发，确保在 Linux 和 Windows 上的轻松安装与跨平台兼容性，并提供预编译二进制文件。

实验结果

研究问题

• RQ1 具备完整 Python 控制能力的可编程路径追踪渲染器是否能提升计算机视觉任务中合成数据的真实感与泛化能力？
• RQ2 对材质（如玻璃、金属）进行基于物理的渲染，如何影响姿态估计与目标检测网络在仿真到现实迁移中的性能？
• RQ3 通过路径追踪生成的元数据（如光流与深度图）在多大程度上能提升视觉模型的训练效果？
• RQ4 与基于光栅化的游戏引擎及嵌入式 Blender 解决方案相比，GPU 加速的 Python 基射线追踪器在性能与可用性方面表现如何？
• RQ5 轻量化、可通过 pip 安装的开源射线追踪器是否能有效支持具备高级相机与光照效果的复杂、随机化 3D 场景？

主要发现

• NViSII 成功利用硬件加速路径追踪生成逼真图像，通过 OptiX 和 AI 去噪技术，在消费级 GPU 上实现交互式帧率。
• 该工具实现了对场景元素的完全程序化控制，包括对物体位置、材质和光照的动态随机化，有效支持领域随机化。
• 在 NViSII 生成的数据上训练的 DOPE 姿态估计算法在真实图像上的表现得到提升，尤其在具有镜面材质的物体上，展现出更强的仿真到现实迁移能力。
• 在合成数据中引入基于物理的材质（如电介质和金属）后，相比仅使用朗伯材质，姿态估计算法的精度显著提高。
• 深度图、表面法线、分割掩码和光流等元数据被准确生成并用于训练 2D 目标检测器，该检测器在真实图像上表现出良好的泛化能力。
• 与基于光栅化的工具相比，NViSII 在渲染质量上表现更优，并支持关键的高级相机效果（如运动模糊、景深），这些对真实感仿真到现实的迁移至关重要。