[论文解读] NPBG++: Accelerating Neural Point-Based Graphics

Ruslan Rakhimov, Andrei-Timotei Ardelean+2 more|arXiv (Cornell University)|Mar 24, 2022

Advanced Vision and Imaging被引用 4

一句话总结

NPBG++ 通过在单次前向传播中预测 3D 点云的视角依赖神经描述符，实现了新颖视图合成的加速，消除了每场景优化。其在保持高图像质量的同时实现了实时渲染，相比之前的方法在拟合和渲染速度方面表现更优，同时在感知质量方面保持竞争力（DTU 扫描中 LPIPS ↓ 0.154）。

ABSTRACT

We present a new system (NPBG++) for the novel view synthesis (NVS) task that achieves high rendering realism with low scene fitting time. Our method efficiently leverages the multiview observations and the point cloud of a static scene to predict a neural descriptor for each point, improving upon the pipeline of Neural Point-Based Graphics in several important ways. By predicting the descriptors with a single pass through the source images, we lift the requirement of per-scene optimization while also making the neural descriptors view-dependent and more suitable for scenes with strong non-Lambertian effects. In our comparisons, the proposed system outperforms previous NVS approaches in terms of fitting and rendering runtimes while producing images of similar quality.

研究动机与目标

• 解决现有神经点基图形方法因需每场景优化而导致的长拟合时间问题。
• 实现在稀疏输入图像和点云下高质量新颖视图的实时渲染。
• 通过引入视角依赖的神经描述符，提升非朗伯表面的渲染质量。
• 降低对几何缺陷（如稀疏点云、噪声和有限输入视角）的敏感性。
• 通过轻量级 2D 对齐阶段确保渲染流程中的旋转等变性。

提出的方法

• 通过所有源图像的单次前向传播预测每个 3D 点的神经描述符，绕过每场景优化。
• 采用在线、排列不变的聚合方法，通过在线线性回归以恒定内存从多视角组合特征。
• 通过学习每个点描述符的基函数系数（例如，m=6 的 MLP）来建模视角依赖外观。
• 引入两个轻量级 2D 对齐阶段：一个用于输入图像，一个用于输出渲染，以校正平面内旋转错位。
• 使用基于 U-Net 的渲染器，对带有学习描述符的点云执行多尺度光栅化。
• 采用球谐函数和基于 MLP 的基函数表示描述符，消融实验表明 MLP（m=6）表现最佳。

实验结果

研究问题

• RQ1 我们能否在保持高渲染质量的同时，消除神经点基图形中的每场景优化？
• RQ2 如何在不增加拟合时间的前提下，高效建模点基神经渲染中的视角依赖外观？
• RQ3 输入和输出图像对齐在神经点基渲染流程中在多大程度上提升性能？
• RQ4 该系统对几何缺陷（如稀疏点云、噪声和有限输入视角）的鲁棒性如何？
• RQ5 轻量级 2D 对齐阶段能否有效恢复基于描述符的渲染中的旋转等变性？

主要发现

• 在 'hotdog' 场景中，NPBG++ 的每张图像渲染时间（拟合 + 渲染）为 1.2 秒，显著快于 NPBG 和 IBRNet。
• 在同时使用输入和输出图像对齐的情况下，NPBG++ 在 DTU 扫描中实现 LPIPS ↓ 0.154，优于对齐后的 NPBG（LPIPS ↓ 0.125）。
• 采用 m=6 基函数的 MLP 聚合方法表现最佳：在 ScanNet 场景中，PSNR ↑ 23.11，SSIM ↑ 0.766，LPIPS ↓ 0.501。
• 系统在几何缺陷下表现出稳健的退化：即使点云稀疏度达 50%，仍能保持 >80% 的填充像素，并在噪声和少视角场景下表现稳健。
• 消融实验表明，仅使用输入或输出对齐会降低性能，证实两者对分布对齐的必要性。
• 所提出的在线聚合方法实现了高效、恒定内存的特征融合，支持任意数量视角的可扩展性与视角依赖描述符学习。