[论文解读] VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field

Naruya Kondo, Yuya Ikeda+4 more|arXiv (Cornell University)|Nov 25, 2021

Computer Graphics and Visualization Techniques被引用 6

一句话总结

VaxNeRF 通过整合视觉外壳（visual hull）——一种经典的 3D 重建技术——仅使用二值前景-背景掩码来定义粗粒度体素体积，从而显著减少不必要的 NeRF 网络评估，加速了神经辐射场（NeRF）的训练。该方法仅在 JaxNeRF 框架上扩展约 30 行代码，无需改变网络架构，即可实现 2–8 倍的训练加速，且无质量损失，使在 256 个 TPU 核心上完成完整 NeRF 训练的时间从数小时缩短至约 30 分钟。

ABSTRACT

Neural Radiance Field (NeRF) is a popular method in data-driven 3D reconstruction. Given its simplicity and high quality rendering, many NeRF applications are being developed. However, NeRF's big limitation is its slow speed. Many attempts are made to speeding up NeRF training and inference, including intricate code-level optimization and caching, use of sophisticated data structures, and amortization through multi-task and meta learning. In this work, we revisit the basic building blocks of NeRF through the lens of classic techniques before NeRF. We propose Voxel-Accelearated NeRF (VaxNeRF), integrating NeRF with visual hull, a classic 3D reconstruction technique only requiring binary foreground-background pixel labels per image. Visual hull, which can be optimized in about 10 seconds, can provide coarse in-out field separation to omit substantial amounts of network evaluations in NeRF. We provide a clean fully-pythonic, JAX-based implementation on the popular JaxNeRF codebase, consisting of only about 30 lines of code changes and a modular visual hull subroutine, and achieve about 2-8x faster learning on top of the highly-performative JaxNeRF baseline with zero degradation in rendering quality. With sufficient compute, this effectively brings down full NeRF training from hours to 30 minutes. We hope VaxNeRF -- a careful combination of a classic technique with a deep method (that arguably replaced it) -- can empower and accelerate new NeRF extensions and applications, with its simplicity, portability, and reliable performance gains. Codes are available at https://github.com/naruya/VaxNeRF .

研究动机与目标

• 为解决 NeRF 训练速度缓慢的问题，这是 3D 重建应用中的主要瓶颈。
• 探究经典 3D 重建技术（如视觉外壳）是否可与现代深度学习方法（如 NeRF）有效结合。
• 开发一种轻量级、可移植且高性能的 NeRF 加速方法，避免复杂的网络结构修改。
• 在不牺牲渲染质量的前提下实现显著加速，尤其在具有非凸性或透明度的复杂场景中。
• 证明将经典方法与现代技术结合，可优于当前最先进的优化 NeRF 变体。

提出的方法

• 仅使用每张图像的二值前景-背景分割掩码，将视觉外壳作为粗粒度的进出体积分割器。
• 用均匀且密集的射线采样替代 NeRF 的分层采样，采样范围被限制在视觉外壳的包围盒内。
• 使用基于 JAX 的、完全可微分的视觉外壳子程序，可在约 10 秒内对 100 张图像完成优化。
• 仅对位于视觉外壳内部的点执行 NeRF 的 MLP 评估，从而消除在空旷空间中的昂贵计算。
• 在 JaxNeRF 框架基础上，通过约 30 行代码修改实现该方法，保持模块化与可移植性。
• 采用单一粗粒度模型并结合高分辨率体素采样（如 400×400×400），在不增加额外粗粒度网络的前提下实现有效的空间分辨率。

实验结果

研究问题

• RQ1 经典 3D 重建技术（如视觉外壳）是否可被有效重用于加速现代 NeRF 训练？
• RQ2 将视觉外壳作为空间先验是否能在不降低渲染质量的前提下减少 NeRF 网络评估次数？
• RQ3 与 PlenOctrees 或 NSVF 等更复杂、高度优化的 NeRF 变体相比，视觉外壳与 NeRF 的简单模块化集成能否实现更优性能？
• RQ4 在收敛速度与最终精度方面，视觉外壳中点选择的有效分辨率与 NeRF 的分层采样相比如何？
• RQ5 在具有非凸形状或透明度的挑战性场景中，视觉外壳带来的加速效果是否依然稳定？

主要发现

• 与 JaxNeRF 基线相比，VaxNeRF 在 NeRF-Synthetic 和 NSVF-Synthetic 数据集上实现了 2–8 倍的训练加速，且 PSNR 和 SSIM 无任何下降。
• 性能最优的 VaxNeRF 变体（如 vax_c600、vax_c800）在训练速度显著提升的同时，最终渲染质量与 NeRF 相当或略优。
• 在单张 A100 GPU 上，VaxNeRF 最高达到每秒 240,489 个射线（vax_c64f16），远超 NeRF 的每秒 34,424 个射线。
• 在 256 个 TPU 核心上，VaxNeRF 将完整 NeRF 训练时间从 2.5 小时缩短至约 30 分钟。
• 尽管结构更简单，VaxNeRF 在 PSNR 上优于 NSVF，并与 PlenOctrees 相当或更优，同时保持了具有竞争力的训练速度。
• 即使在具有非凸性或透明度的场景中，该方法依然有效，即使此时仅靠视觉外壳无法提供真实的进出体积分割。