[论文解读] SPARF: Neural Radiance Fields from Sparse and Noisy Poses

Prune Truong, Marie‐Julie Rakotosaona+2 more|arXiv (Cornell University)|Nov 21, 2022

Advanced Vision and Imaging被引用 5

一句话总结

SPARF 提出了一种新颖的方法，仅需三张稀疏、广角基线的图像及带有噪声的相机位姿，即可训练神经辐射场（NeRF）。通过利用像素对应关系和深度一致性损失的多视角几何约束，SPARF 联合优化 NeRF 与相机位姿，在 DTU、LLFF 和 Replica 数据集上实现了在极端稀疏性和位姿噪声条件下的最先进新视角合成性能。

ABSTRACT

Neural Radiance Field (NeRF) has recently emerged as a powerful representation to synthesize photorealistic novel views. While showing impressive performance, it relies on the availability of dense input views with highly accurate camera poses, thus limiting its application in real-world scenarios. In this work, we introduce Sparse Pose Adjusting Radiance Field (SPARF), to address the challenge of novel-view synthesis given only few wide-baseline input images (as low as 3) with noisy camera poses. Our approach exploits multi-view geometry constraints in order to jointly learn the NeRF and refine the camera poses. By relying on pixel matches extracted between the input views, our multi-view correspondence objective enforces the optimized scene and camera poses to converge to a global and geometrically accurate solution. Our depth consistency loss further encourages the reconstructed scene to be consistent from any viewpoint. Our approach sets a new state of the art in the sparse-view regime on multiple challenging datasets.

研究动机与目标

• 解决 NeRF 在真实场景中因缺乏密集视图和精确位姿而受到的限制。
• 实现在仅三张广角基线图像且相机位姿带有噪声的条件下，实现逼真的新视角合成。
• 通过几何约束联合优化 NeRF 与相机位姿，避免退化重建。
• 在标准 NeRF 和位姿优化方法失效的稀疏视图设置下，提升鲁棒性与泛化能力。
• 通过学习跨视角的几何一致性，消除对完美位姿或预训练条件模型的依赖。

提出的方法

• 使用预训练的匹配模型（例如 PDC-Net）提取输入视图之间的像素对应关系。
• 引入多视角对应损失，通过 NeRF 渲染的深度和估计的位姿最小化重投影误差。
• 采用深度一致性损失，利用训练视图的渲染深度为新视角生成伪真实深度。
• 通过端到端训练联合优化 NeRF 与相机位姿，强制所有视图间保持几何一致性。
• 依赖多视角几何原理限制优化空间，确保收敛到全局一致解。
• 不假设场景形状的先验知识，也不使用条件模型，从而实现对新场景的零样本泛化。

实验结果

研究问题

• RQ1 当仅使用三张带有噪声相机位姿的图像进行训练时，NeRF 是否能实现高保真度的新视角合成？
• RQ2 在稀疏视图设置下，多视角间的几何一致性是否能改善 NeRF 的优化？
• RQ3 基于像素匹配的多视角对应损失是否比单图损失带来更好的位姿优化？
• RQ4 在无真实深度监督的情况下，深度一致性损失能否提升未见视角的渲染质量？
• RQ5 是否可能在不依赖预训练条件模型或完美位姿的前提下，实现稀疏视图新视角合成的最先进性能？

主要发现

• SPARF 在 DTU 数据集上创下新 SOTA，仅使用 3 张输入图像和噪声位姿，达到 20.20 PSNR、0.63 SSIM 和 0.24 FID。
• 在 LLFF 数据集上，SPARF 超过所有基线方法——包括 MVSNeRF 等条件模型——在 3 张输入图像下实现 23.35 PSNR 和 0.74 SSIM。
• 在 Replica 数据集上，即使初始位姿由 COLMAP 使用带有噪声的匹配估计，SPARF 仍能生成具有准确深度的真实感新视角渲染。
• 在稀疏设置下，SPARF 显著优于标准 NeRF 和 BARF，在 DTU 上达到 24.40 PSNR 和 0.77 SSIM，而 NeRF 在 3 张视图下仅为 19.08 PSNR 和 0.59 SSIM。
• 深度一致性损失通过强制所有视角方向的一致性，减少了几何伪影，提升了渲染质量。
• 即使位姿受到 15% 高斯噪声扰动，SPARF 仍表现出色，证明了其对位姿不准确性的强鲁棒性。