[论文解读] Point-NeRF: Point-based Neural Radiance Fields

Qiangeng Xu, Zexiang Xu+5 more|arXiv (Cornell University)|Jan 21, 2022

Computer Graphics and Visualization Techniques被引用 10

一句话总结

Point-NeRF 提出了一种基于点的神经辐射场表示方法，利用可学习的3D点云及其神经特征，实现快速、高质量的新视角合成。通过从预训练的深度神经网络进行初始化，并结合自适应的点生长与剪枝策略进行每场景微调，该方法在20至40分钟内即可达到NeRF级别的质量——比标准NeRF快30倍，同时对其他重建方法产生的噪声大或不完整的点云也具有鲁棒性。

ABSTRACT

Volumetric neural rendering methods like NeRF generate high-quality view synthesis results but are optimized per-scene leading to prohibitive reconstruction time. On the other hand, deep multi-view stereo methods can quickly reconstruct scene geometry via direct network inference. Point-NeRF combines the advantages of these two approaches by using neural 3D point clouds, with associated neural features, to model a radiance field. Point-NeRF can be rendered efficiently by aggregating neural point features near scene surfaces, in a ray marching-based rendering pipeline. Moreover, Point-NeRF can be initialized via direct inference of a pre-trained deep network to produce a neural point cloud; this point cloud can be finetuned to surpass the visual quality of NeRF with 30X faster training time. Point-NeRF can be combined with other 3D reconstruction methods and handles the errors and outliers in such methods via a novel pruning and growing mechanism. The experiments on the DTU, the NeRF Synthetics , the ScanNet and the Tanks and Temples datasets demonstrate Point-NeRF can surpass the existing methods and achieve the state-of-the-art results.

研究动机与目标

• 为解决NeRF训练时间过长的问题，提出一种更高效的辐射场表示方法。
• 结合深度多视角立体（MVS）方法在几何初始化方面的高效性与神经辐射场在高质量渲染方面的优势。
• 开发一种通用框架，可从任意点云（包括存在孔洞和异常值的点云）中初始化并优化辐射场。
• 通过在每场景优化过程中引入新颖的点生长与剪枝机制，提升渲染质量和鲁棒性。

提出的方法

• 将场景表示为神经点云，其中每个点通过可学习的神经特征编码局部3D几何与外观信息。
• 使用3D MLP聚合邻近的神经点，在任意3D位置预测体素密度和视角相关的辐射亮度，支持可微分的射线追踪。
• 通过端到端训练一个深度神经网络，从输入图像中预测深度和2D特征，随后进行反投影到3D，实现点云辐射场的初始化。
• 采用两阶段优化策略：首先进行端到端训练以提升泛化能力，随后通过新颖的点生长与剪枝机制进行每场景微调。
• 在体素渲染过程中引入几何推理机制，在高密度区域的边界附近生长新点，并在低密度区域剪枝点。
• 利用预训练的MVS网络（如代价体积网络）和CNN生成初始点云与特征，实现基于推理的快速初始化。

(a) Neural Point Generation.

实验结果

研究问题

• RQ1 基于点的神经辐射场表示能否在显著缩短训练时间的前提下，实现高保真度的新视角合成，相比标准NeRF？
• RQ2 能否直接利用预训练的深度神经网络推断出神经点云初始化，从而实现快速的每场景优化？
• RQ3 所提出的点生长与剪枝机制在从低质量或不完整的点云出发时，对提升渲染质量的效率如何？
• RQ4 Point-NeRF能否在多样化数据集上实现泛化，并超越现有方法（包括NeRF及其他神经辐射场模型）？

主要发现

• Point-NeRF 在 DTU、NeRF Synthetic、Tanks and Temples 和 ScanNet 数据集上均实现了最先进的新视角合成性能。
• 仅需20至40分钟的每场景优化，Point-NeRF 的性能已超越需要超过20小时训练时间的NeRF，展现出30倍的速度提升。
• 在 NeRF Synthetic 数据集上，Point-NeRF 训练20K步即可达到与NeRF相当的质量，但耗时仅为后者的1/30，在Hotdog场景上实现PSNR 30.97和SSIM 0.942。
• 即使从COLMAP生成的点云（含孔洞与噪声）初始化，Point-NeRF 仍能获得高质量结果：在Ship场景经过200K次优化步骤后，PSNR达30.18，SSIM达0.941。
• 点生长与剪枝机制显著提升了重建质量：在Hotdog场景中，使用COLMAP点云并引入该机制后，PSNR从29.91提升至35.49，SSIM从0.978提升至0.986。
• 该方法成功恢复了细小细节与纤细结构（如绳索），并能填充大范围的几何孔洞，如在稀疏且不完整的点云上的定性对比结果所示。

(b) Point-NeRF Representation with Volume Rendering.