[论文解读] SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

Liang Song, Guangming Wang+4 more|arXiv (Cornell University)|Sep 10, 2023

Advanced Vision and Imaging被引用 4

一句话总结

SC-NeRF 提出了一种自校正神经辐射场，仅需三张稀疏视图即可从物体级数据集泛化到未见过的户外场景。通过将多头注意力与深度归一化的查询相结合，它能够校正几何失真和外观伪影，在户外基准测试中实现了最先进的性能，PSNR 达到 25.989，LPIPS 为 0.224。

ABSTRACT

In recent studies, the generalization of neural radiance fields for novel view synthesis task has been widely explored. However, existing methods are limited to objects and indoor scenes. In this work, we extend the generalization task to outdoor scenes, trained only on object-level datasets. This approach presents two challenges. Firstly, the significant distributional shift between training and testing scenes leads to black artifacts in rendering results. Secondly, viewpoint changes in outdoor scenes cause ghosting or missing regions in rendered images. To address these challenges, we propose a geometric correction module and an appearance correction module based on multi-head attention mechanisms. We normalize rendered depth and combine it with light direction as query in the attention mechanism. Our network effectively corrects varying scene structures and geometric features in outdoor scenes, generalizing well from object-level to unseen outdoor scenes. Additionally, we use appearance correction module to correct appearance features, preventing rendering artifacts like blank borders and ghosting due to viewpoint changes. By combining these modules, our approach successfully tackles the challenges of outdoor scene generalization, producing high-quality rendering results. When evaluated on four datasets (Blender, DTU, LLFF, Spaces), our network outperforms previous methods. Notably, compared to MVSNeRF, our network improves average PSNR from 19.369 to 25.989, SSIM from 0.838 to 0.889, and reduces LPIPS from 0.265 to 0.224 on Spaces outdoor scenes.

研究动机与目标

• 使神经辐射场在仅使用物体级数据集进行训练的情况下，能够有效泛化到户外场景。
• 解决由于分布偏移和大视角变化导致的新视角合成中的黑色伪影和鬼影问题。
• 在无需每场景优化的情况下，提升稀疏视图设置下的渲染质量。
• 开发一种可微分的、端到端可训练的框架，以实现对多样化场景结构的鲁棒泛化。

提出的方法

• 从稀疏多视角输入构建低分辨率的三维几何代价体积，以提供连续的几何先验。
• 引入一种几何校正模块，使用多头注意力机制，以归一化的渲染深度和视角方向作为查询。
• 采用一种外观校正模块，利用相同的注意力机制，基于方向嵌入和深度嵌入来优化外观特征。
• 以顺序方式结合两个校正模块：先进行几何校正，再进行外观校正，以提升特征表示能力。
• 使用可微分渲染与体密度加权，重建深度图以用于评估。
• 在多头注意力中利用方向和深度嵌入作为查询，以增强特征对齐并减少伪影。

Figure 1: Comparison with previous methods IBRNet [ 12 ] and MVSNeRF [ 10 ] on Spaces. We train both their and our networks on DTU and generalize to outdoor scenes in Spaces. The left, middle, and right images respectively show the rendering result of [ 12 ] , [ 10 ] , and ours.

实验结果

研究问题

• RQ1 仅在物体级数据集上进行训练的 NeRF 模型，能否有效泛化到复杂的户外场景？
• RQ2 在稀疏视图新视角合成中，如何缓解因大视角变化引起的几何不一致性？
• RQ3 深度感知查询设计在减少鬼影和黑边等渲染伪影方面起到何种作用？
• RQ4 基于注意力的特征校正能在多大程度上超越标准 NeRF 和 IBR 方法，提升泛化能力？

主要发现

• SC-NeRF 在 Spaces 户外数据集上实现了 25.989 的 PSNR，显著优于 MVSNeRF 的 19.369。
• 在相同数据集上，LPIPS 从 0.265（MVSNeRF）降低至 0.224，表明感知质量更优。
• SSIM 提升至 0.889，表明渲染视角的结构保真度更高。
• 消融实验证实，将深度与方向同时作为注意力查询可有效减少白洞和阴影转移伪影。
• 使用深度归一化查询的几何校正使绝对深度误差相比 MVSNeRF 减少 37%，相比 IBRNet 减少 98%。
• 顺序校正（先几何后外观）在 PSNR、SSIM 和 LPIPS 指标上均取得最佳整体性能。

Figure 2: Overview of SC-NeRF. We first extract image features and warp them onto a plane sweep,then use 3DCNN to build a geometric Volume. Second, we use the geometric feature rectification and appearance feature rectification modules to obtain the final radiation features. Finally, we use an MLP t