[论文解读] View Synthesis with Sculpted Neural Points

Yiming Zuo, Jia Deng|arXiv (Cornell University)|May 12, 2022

Advanced Vision and Imaging被引用 10

一句话总结

本文提出了一种新颖的基于点的视图合成方法——Sculpted Neural Points (SNP)，其在渲染速度上比NeRF快100倍，同时实现了更优的视觉质量。通过在初始MVS点云上进行离散的剪枝与添加操作，并结合视图相关的球谐特征以及自定义的可微渲染管道，SNP实现了高保真度、高效且可编辑的新型视图合成，性能达到当前最先进水平。

ABSTRACT

We address the task of view synthesis, generating novel views of a scene given a set of images as input. In many recent works such as NeRF (Mildenhall et al., 2020), the scene geometry is parameterized using neural implicit representations (i.e., MLPs). Implicit neural representations have achieved impressive visual quality but have drawbacks in computational efficiency. In this work, we propose a new approach that performs view synthesis using point clouds. It is the first point-based method that achieves better visual quality than NeRF while being 100x faster in rendering speed. Our approach builds on existing works on differentiable point-based rendering but introduces a novel technique we call "Sculpted Neural Points (SNP)", which significantly improves the robustness to errors and holes in the reconstructed point cloud. We further propose to use view-dependent point features based on spherical harmonics to capture non-Lambertian surfaces, and new designs in the point-based rendering pipeline that further boost the performance. Finally, we show that our system supports fine-grained scene editing. Code is available at https://github.com/princeton-vl/SNP.

研究动机与目标

• 为解决如NeRF等隐式神经表示在视图合成中计算效率低下且灵活性不足的问题。
• 提升基于点的渲染对重建点云中几何误差和空洞的鲁棒性。
• 在保持高渲染速度的同时，实现超越NeRF的视觉质量，并支持细粒度的场景编辑。
• 开发一种可微的、端到端的管道，支持显式场景表示的高效优化与编辑。

提出的方法

• 提出Sculpted Neural Points (SNP) 技术，对初始MVS重建点云执行离散的剪枝与添加操作，以提升光度一致性。
• 采用可微渲染技术，联合优化点特征与剪枝决策，实现基于梯度的精细化调整。
• 使用高维球谐函数表示视图相关的点特征，以建模非朗伯材质和光照效应。
• 提出一种受Dropout (Srivastava et al., 2014) 启发的点dropout层，以提升对新视图的泛化能力。
• 建议在U-Net主干网络中省略归一化层（BatchNorm/InstanceNorm），可显著提升性能。
• 设计自定义渲染管道，避免在未占据空间上进行浪费性计算，从而实现实时推理。

实验结果

研究问题

• RQ1 基于点的方法能否在显著更快的渲染速度下，实现优于NeRF的视觉质量？
• RQ2 如何将离散的剪枝与添加操作整合进可微优化框架中，以提升几何鲁棒性？
• RQ3 视图相关的特征在基于点的渲染中，对捕捉复杂光照与非朗伯表面起到何种作用？
• RQ4 如归一化层与Dropout等架构选择，如何影响基于点的视图合成中的泛化能力与性能表现？
• RQ5 显式的点云表示能否在无需定制界面的情况下，支持细粒度且用户友好的场景编辑？

主要发现

• 在DTU数据集上，SNP的PSNR（29.62）和SSIM（0.968）均优于NeRF（25.43和0.920），且渲染速度提升100倍。
• 在NeRF-Synthetic数据集上，SNP的PSNR为29.62，LPIPS为0.049，优于NeRF（25.43和0.111）与Point-NeRF（28.43和0.023）的关键指标。
• 消融实验表明，从U-Net中移除BatchNorm与InstanceNorm可提升性能，完整模型在DTU上的PSNR为24.90，SSIM为0.851。
• 采用高 dropout 率的点dropout层可提升泛化能力，在DTU上相比无dropout提升0.12 PSNR，相比低dropout提升0.22 PSNR。
• 与NeRF相比，SNP将训练时间减少了66%，同时实现了更优的视觉质量，证明了其更高的效率。
• 该方法可通过标准图形工具实现细粒度场景编辑，因为点云表示天然支持亚对象级别的编辑。