[论文解读] PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction

Fusang Wang, Arnaud Louys+4 more|arXiv (Cornell University)|May 26, 2023

Advanced Vision and Imaging被引用 5

一句话总结

PlaNeRF 提出了一种基于 SVD 的无监督平面正则化方法，用于 NeRF，该方法在无 3D 监督的情况下，显著提升了大规模城市场景中的 3D 几何重建质量。通过利用基于图像块的 SSIM 实现体积密度初始化，并使用 SVD 强制执行 NeRF 隐式几何结构的平面一致性，该方法在 KITTI-360 数据集上实现了最先进的几何精度，同时保持了优异的渲染质量。

ABSTRACT

Neural Radiance Fields (NeRF) enable 3D scene reconstruction from 2D images and camera poses for Novel View Synthesis (NVS). Although NeRF can produce photorealistic results, it often suffers from overfitting to training views, leading to poor geometry reconstruction, especially in low-texture areas. This limitation restricts many important applications which require accurate geometry, such as extrapolated NVS, HD mapping and scene editing. To address this limitation, we propose a new method to improve NeRF's 3D structure using only RGB images and semantic maps. Our approach introduces a novel plane regularization based on Singular Value Decomposition (SVD), that does not rely on any geometric prior. In addition, we leverage the Structural Similarity Index Measure (SSIM) in our loss design to properly initialize the volumetric representation of NeRF. Quantitative and qualitative results show that our method outperforms popular regularization approaches in accurate geometry reconstruction for large-scale outdoor scenes and achieves SoTA rendering quality on the KITTI-360 NVS benchmark.

研究动机与目标

• 解决 NeRF 在低纹理、大规模户外场景（如城市驾驶环境）中几何重建性能差的问题。
• 在不依赖 LiDAR 或网格等 3D 监督信号的情况下，提升 NeRF 的几何保真度。
• 开发一种不假设表面法向量或几何先验的平面正则化方法。
• 仅使用 RGB 图像和语义图，实现对道路等平坦表面的精确、平滑重建。
• 在显著提升复杂户外场景几何完整性的前提下，保持具有竞争力的渲染质量。

提出的方法

• 提出一种新颖的基于 SVD 的平面正则化损失（$\mathcal{L}_{\text{SVD}}$），通过射线特征矩阵的奇异值分解，在 NeRF 的隐式 3D 表示上强制执行平面一致性。
• 采用基于图像块的结构相似性指数度量（SSIM）损失（$\mathcal{L}_{\text{dSSIM}}$）初始化 NeRF 的体积密度，从一开始就促进更好的几何结构。
• 仅在通过语义分割掩码识别出的平面区域应用基于 SVD 的正则化，重点聚焦于道路等低纹理区域。
• 利用 NeRF 的初始几何结构计算 SVD，避免依赖外部几何先验或法向量估计。
• 在联合优化中结合 $\mathcal{L}_{\text{SVD}}$ 和 $\mathcal{L}_{\text{dSSIM}}$，以同时提升几何精度与渲染质量。
• 在 PyTorch 中实现 SVD 损失，但由于小矩阵计算中 CPU 降载导致性能开销，训练速度下降了 44%。

实验结果

研究问题

• RQ1 无监督平面正则化是否能在无 3D 监督的情况下，提升 NeRF 在大规模低纹理城市场景中的几何性能？
• RQ2 在无表面法向量先验的情况下，基于 SVD 的正则化在强制执行平面结构方面有多有效？
• RQ3 基于图像块的 SSIM 损失是否能改善 NeRF 的初始几何估计，并带来更优的下游重建效果？
• RQ4 在真实驾驶基准测试中，PlaNeRF 与现有几何正则化方法相比，在几何精度和渲染质量方面表现如何？
• RQ5 该方法是否能在无界户外场景中泛化，同时对无纹理区域保持鲁棒性？

主要发现

• PlaNeRF 在 KITTI-360 基准测试中实现了最低的 Chamfer 距离（CD: 9.6）和 $\text{P}_{\sigma}$（4.6），表明其在平坦表面几何精度方面表现卓越。
• 该方法实现了 22.90 的 PSNR 和 0.857 的 SSIM，渲染质量位居前列，同时显著提升了几何质量。
• 消融实验表明，若移除 $\mathcal{L}_{\text{SVD}}$，CD 增加 2.2，$\text{P}_{\sigma}$ 增加 10.4，证实其在几何提升中的关键作用。
• $\mathcal{L}_{\text{dSSIM}}$ 损失有助于更优的初始化，若移除可使 PSNR 下降减少 0.28，并将 SSIM 从 0.837 提升至 0.857。
• 定性结果表明，与基线方法相比，PlaNeRF 生成的路面更平滑、更平坦，而基线方法因缺乏平面正则化，表现出噪声大、起伏不平的表面。
• 尽管由于 SVD 计算中 CPU 降载效率低下，导致训练速度下降 44%，但该方法在大规模场景重建中仍保持实用且高效。