[论文解读] NeuSample: Neural Sample Field for Efficient View Synthesis

Jiemin Fang, Lingxi Xie+4 more|arXiv (Cornell University)|Nov 30, 2021

3D Shape Modeling and Analysis参考文献 44被引用 12

一句话总结

NeuSample 提出了一种神经采样场，用单次、轻量化的网络替代 NeRF 的两阶段分层采样，直接将射线映射到优化的采样分布，实现更快的推理速度和更高的渲染质量。该方法通过消除粗粒度网络的推理，降低了计算成本，同时保持或超越了 NeRF 的性能，并通过采样场提取技术进一步加速高效部署。

ABSTRACT

Neural radiance fields (NeRF) have shown great potentials in representing 3D scenes and synthesizing novel views, but the computational overhead of NeRF at the inference stage is still heavy. To alleviate the burden, we delve into the coarse-to-fine, hierarchical sampling procedure of NeRF and point out that the coarse stage can be replaced by a lightweight module which we name a neural sample field. The proposed sample field maps rays into sample distributions, which can be transformed into point coordinates and fed into radiance fields for volume rendering. The overall framework is named as NeuSample. We perform experiments on Realistic Synthetic 360$^{\circ}$ and Real Forward-Facing, two popular 3D scene sets, and show that NeuSample achieves better rendering quality than NeRF while enjoying a faster inference speed. NeuSample is further compressed with a proposed sample field extraction method towards a better trade-off between quality and speed.

研究动机与目标

• 解决 NeRF 在推理过程中两阶段分层采样带来的高计算成本问题。
• 通过用可学习的轻量化神经采样场替代粗粒度采样阶段，提升渲染质量和速度。
• 通过一种新颖的采样场提取方法，实现高效推理与模型压缩。
• 在不依赖缓存或显式数据结构的前提下，实现渲染质量与速度之间的更好权衡。

提出的方法

• 神经采样场是一个 5D 神经网络，输入为射线的起点和方向，输出为沿射线的 N 个采样距离。
• 采样场与辐射场端到端联合训练，以优化采样分布，实现高质量的体素渲染。
• 该方法通过一次前向传播直接预测优化的采样点，消除了对独立粗粒度网络的需求。
• 提出了一种采样场提取方法，通过剪枝冗余点压缩网络，使推理时间减少 25% 同时保持质量。
• 使用 10 个频率的位置编码将射线坐标和方向嵌入采样场网络。
• 通过预测的采样点及其对应的来自辐射场的辐射/不透明度值进行体素渲染。

实验结果

研究问题

• RQ1 可学习的单次推理神经采样场是否能够替代 NeRF 的两阶段分层采样以提升效率？
• RQ2 所提出的采样场是否能在减少推理时间的同时，实现优于传统 NeRF 的渲染质量？
• RQ3 采样场是否可通过提取方法有效压缩，同时保持高渲染质量？
• RQ4 采样场网络的深度如何影响在不同复杂度场景下的性能表现？
• RQ5 位置编码频率对采样场性能有何影响？

主要发现

• NeuSample 在 Realistic Synthetic 360° 和 Real Forward-Facing 基准测试中，渲染质量均优于 NeRF。
• 即使在未压缩的情况下，该方法的推理时间也比标准 NeRF 减少了约 25%。
• 在合成乐高积木场景中，2 层采样场网络导致 PSNR 下降 4.36 dB，表明深层网络对复杂场景至关重要。
• 在蕨类植物场景中，将采样场网络深度从 8 层减少到 2 层，仅导致 PSNR 下降 0.29 dB，表明其对深度减少具有更强鲁棒性。
• 将位置编码频率从 5 提高到 15，影响微乎其微，两个场景中 PSNR 变化均低于 0.2 dB。
• 采样可视化结果表明，NeuSample 产生的采样点分布更均匀且更具策略性，而 NeRF 的采样点则呈现密集聚集，后者降低了渲染精度。