[论文解读] NerfAcc: A General NeRF Acceleration Toolbox

Ruilong Li, Matthew Tancik+1 more|arXiv (Cornell University)|Oct 10, 2022

Computer Graphics and Visualization Techniques被引用 20

一句话总结

NerfAcc 是一个基于 PyTorch 的工具箱，能够加速 NeRF 的体积渲染，支持有界、动态和无界场景，且可即插即用集成。它在原始方法上实现显著加速，并在几分钟到几小时内完成训练。

ABSTRACT

We propose NerfAcc, a toolbox for efficient volumetric rendering of radiance fields. We build on the techniques proposed in Instant-NGP, and extend these techniques to not only support bounded static scenes, but also for dynamic scenes and unbounded scenes. NerfAcc comes with a user-friendly Python API, and is ready for plug-and-play acceleration of most NeRFs. Various examples are provided to show how to use this toolbox. Code can be found here: https://github.com/KAIR-BAIR/nerfacc. Note this write-up matches with NerfAcc v0.3.5. For the latest features in NerfAcc, please check out our more recent write-up at arXiv:2305.04966

研究动机与目标

• 提供一个通用、易于使用的 NeRF 加速工具箱。
• 将高效体积渲染技术扩展到有界、动态和无界场景。
• 提供一个 Python API，便于与现有 NeRF 模型实现即插即用的集成。

提出的方法

• 以 Instant-NGP 技术为基础，实现快速光线行进和渲染。
• 引入 Occupancy Grid 在光线行进过程中剪枝空区/遮挡区域。
• 应用场景收缩（Mip-NeRF 360 风格）以处理无界场景。
• 提供可与任意用户定义辐射场协同工作的可微渲染。
• 提供一个最小的两函数插件（sigma_fn, rgb_sigma_fn）以实现集成。
• 在 vanilla NeRF、Instant-NGP、D-NeRF 和无界数据集上展示显著的训练时间降低。

实验结果

研究问题

• RQ1 在不重新架构模型的前提下，基于 Python 的通用工具箱是否能够加速多种 NeRF 表示（静态、动态、无界）？
• RQ2 在 NerfAcc 下，标准 NeRF、Instant-NGP、D-NeRF 和 Mip-NeRF 360 设置能够达到多大程度的加速和质量提升？
• RQ3 对于不同场景类型，有效的高效光线行进和可微渲染策略是什么？

主要发现

• NerfAcc 使在 NeRF-Synthetic 上对 vanilla NeRF 的训练约在 1 小时完成，而原始论文需要数天。
• 在 NerfAcc 下，Instant-NGP NeRF 约在 4.5 分钟内达到可比的质量。
• 在若干场景上，D-NeRF 的性能提升至约 1 小时，且获得更高的 PSNR。
• 无界场景（Mip-NeRF 360）在大约 20 分钟内可完成训练，且 PSNR 具有竞争力。
• 该工具箱支持在静态、动态和无界 NeRF 变体上的快速训练和质量提升。