[论文解读] SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse Views

Xiaoxiao Long, Cheng Lin+3 more|arXiv (Cornell University)|Jun 12, 2022

Computer Graphics and Visualization Techniques被引用 6

一句话总结

SparseNeuS 提出了一种快速、可泛化的神经表面重建方法，通过使用带有学习到的几何先验的符号距离函数（SDF），仅需 2–3 张输入视图即可实现高质量的 3D 几何重建。该方法利用多层级几何推理框架、多尺度颜色融合以及一致性感知的微调策略，有效应对稀疏视图带来的挑战，在重建质量、效率和对未见场景的泛化能力方面均优于当前最先进方法。

ABSTRACT

We introduce SparseNeuS, a novel neural rendering based method for the task of surface reconstruction from multi-view images. This task becomes more difficult when only sparse images are provided as input, a scenario where existing neural reconstruction approaches usually produce incomplete or distorted results. Moreover, their inability of generalizing to unseen new scenes impedes their application in practice. Contrarily, SparseNeuS can generalize to new scenes and work well with sparse images (as few as 2 or 3). SparseNeuS adopts signed distance function (SDF) as the surface representation, and learns generalizable priors from image features by introducing geometry encoding volumes for generic surface prediction. Moreover, several strategies are introduced to effectively leverage sparse views for high-quality reconstruction, including 1) a multi-level geometry reasoning framework to recover the surfaces in a coarse-to-fine manner; 2) a multi-scale color blending scheme for more reliable color prediction; 3) a consistency-aware fine-tuning scheme to control the inconsistent regions caused by occlusion and noise. Extensive experiments demonstrate that our approach not only outperforms the state-of-the-art methods, but also exhibits good efficiency, generalizability, and flexibility.

研究动机与目标

• 解决现有神经表面重建方法依赖密集视图且难以泛化到新场景的局限性。
• 实现在极稀疏输入视图（最少仅 2–3 张图像）下的高质量 3D 表面重建。
• 通过几何编码体从图像特征中学习可泛化的几何先验，实现对未见场景的零样本泛化。
• 通过缓解遮挡、噪声和辐射度模糊等问题，提升稀疏视图下的重建鲁棒性。
• 通过分层几何推理与一致性感知优化，同时实现高效率与高保真度。

提出的方法

• 使用符号距离函数（SDF）作为隐式表面表示，实现闭合表面的重建。
• 引入几何编码体，聚合多视角图像特征，以学习可泛化的几何先验，实现通用表面预测。
• 采用级联的、从粗到精的几何推理框架，通过独立的粗粒度和细粒度体积逐步优化表面细节。
• 应用多尺度颜色融合方案，结合基于像素和基于块的融合策略，以强化局部与上下文的辐射度一致性，实现准确的新视角合成。
• 实施一致性感知的微调策略，检测并排除因遮挡或噪声导致投影不一致的区域，从而提升鲁棒性。
• 利用基于先验的初始化实现快速网络推理，随后进行简短的单场景优化以细化细节。

实验结果

研究问题

• RQ1 当仅有 2–3 张输入视图时，是否能够实现神经表面重建的鲁棒性与准确性？
• RQ2 神经方法是否能在无需每场景微调的情况下，有效泛化到新的、未见过的场景？
• RQ3 如何从稀疏视图中有效学习几何先验，以提升重建质量和效率？
• RQ4 哪些策略可以缓解稀疏视图重建中由遮挡和噪声引起的辐射度模糊与投影不一致问题？
• RQ5 分层的、从粗到精的几何推理框架是否能在降低计算成本的同时提升重建保真度？

主要发现

• SparseNeuS 在仅使用三张输入图像的情况下，重建质量显著优于 NeuS 和 MVSNerf，尤其在弱纹理和遮挡区域表现更优。
• 由于有效的先验初始化，该方法收敛速度比 NeuS 快 7.5 倍，12 分钟内即可达到最优结果，而 NeuS 需要 15 小时。
• 一致性感知微调策略有效减少了几何失真，提升了表面清洁度，尤其在遮挡或噪声区域表现更优。
• 多层级几何推理框架通过早期剔除远距离采样点，提升了推理速度，同时在不损失细节的前提下提高了计算效率。
• 多尺度颜色融合方案显著提升了颜色一致性和渲染保真度，尤其在输入稀疏的条件下表现更优。
• 跨数据集评估显示泛化能力强劲：SparseNeuS 在 BlendedMVS 上的表现优于 MVSNerf，尽管未在该数据集上进行训练，但仍成功恢复了如软管等精细细节，而 COLMAP 和 NeuS 均未能捕捉到。