[论文解读] Neural Sparse Voxel Fields

Lingjie Liu, Jiahua Gu+3 more|arXiv (Cornell University)|Jul 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 13

一句话总结

神经稀疏体素场（NSVF）提出了一种混合神经场景表征方法，利用稀疏体素八叉树组织局部隐式场，实现高保真、快速的自由视角渲染。通过在稀疏体素顶点上学习体素嵌入，并采用可微分的射线步进技术，NSVF 在推理速度上比 NeRF 快超过 10 倍，同时生成更高品质、更清晰的渲染结果，并在动态和大规模场景中展现出更强的可编辑性与可扩展性。

ABSTRACT

Photo-realistic free-viewpoint rendering of real-world scenes using classical computer graphics techniques is challenging, because it requires the difficult step of capturing detailed appearance and geometry models. Recent studies have demonstrated promising results by learning scene representations that implicitly encode both geometry and appearance without 3D supervision. However, existing approaches in practice often show blurry renderings caused by the limited network capacity or the difficulty in finding accurate intersections of camera rays with the scene geometry. Synthesizing high-resolution imagery from these representations often requires time-consuming optical ray marching. In this work, we introduce Neural Sparse Voxel Fields (NSVF), a new neural scene representation for fast and high-quality free-viewpoint rendering. NSVF defines a set of voxel-bounded implicit fields organized in a sparse voxel octree to model local properties in each cell. We progressively learn the underlying voxel structures with a differentiable ray-marching operation from only a set of posed RGB images. With the sparse voxel octree structure, rendering novel views can be accelerated by skipping the voxels containing no relevant scene content. Our method is typically over 10 times faster than the state-of-the-art (namely, NeRF(Mildenhall et al., 2020)) at inference time while achieving higher quality results. Furthermore, by utilizing an explicit sparse voxel representation, our method can easily be applied to scene editing and scene composition. We also demonstrate several challenging tasks, including multi-scene learning, free-viewpoint rendering of a moving human, and large-scale scene rendering. Code and data are available at our website: https://github.com/facebookresearch/NSVF.

研究动机与目标

• 为解决现有神经隐式表征的局限性，例如因密集体积分辨率采样和网络容量有限导致的模糊渲染与推理缓慢问题。
• 实现仅从带姿态的 2D RGB 图像中高效生成高分辨率新视角合成结果，无需显式的 3D 监督。
• 通过显式稀疏体素结构支持实际的场景编辑与合成任务。
• 将神经渲染扩展至大规模和动态场景，包括移动的人体和多场景学习。
• 通过在稀疏体素八叉树上采用可微分、渐进式学习策略，跳过空体素，从而加速渲染。

提出的方法

• NSVF 使用稀疏体素八叉树组织场景，每个激活体素在其八个顶点存储学习得到的嵌入，以表征局部几何与外观。
• 通过多层感知机（MLP）聚合体素顶点的嵌入，预测查询点在体素内的颜色与密度。
• 该方法采用可微分的射线步进操作，支持从带姿态的 2D 图像端到端训练，并逐步优化稀疏体素结构。
• 训练过程中，无场景内容的体素会被剪枝，使网络专注于实际存在几何与外观的区域。
• 推理时通过跳过空体素实现渲染加速，显著降低计算时间。
• 稀疏体素结构支持高效的场景编辑与合成，修改可限定在特定体素区域。

实验结果

研究问题

• RQ1 基于稀疏体素的神经表征能否在渲染质量与推理速度上超越如 NeRF 等密集隐式表征？
• RQ2 在仅使用 2D 图像且无 3D 监督的条件下，对稀疏体素八叉树进行可微分射线步进能否实现渐进式、端到端的学习？
• RQ3 显式的稀疏体素结构能否支持实际的场景编辑与合成任务？
• RQ4 NSVF 能否扩展至动态场景、多场景学习和大规模环境等挑战性场景？
• RQ5 与标准神经隐式函数相比，体素边界隐式场设计是否能减少模糊并提升几何精度？

主要发现

• NSVF 在推理速度上比最先进 NeRF 方法快超过 10 倍，同时生成更高品质、更清晰的渲染结果。
• 该方法展现出更优的渲染质量，得益于更合理的网络容量分配和精确的射线-几何相交计算，有效减少了模糊。
• NSVF 通过跳过空体素实现高效渲染，在不损失视觉保真度的前提下显著提升速度。
• 该方法支持复杂任务，如单组图像集合下对移动人体的自由视角渲染和大规模场景重建。
• 稀疏体素结构支持直观的场景编辑与合成，可对特定场景区域进行操作。
• 该方法在多场景学习中泛化能力良好，并在多样化的室内外场景中保持高性能。