[论文解读] SparseGS: Real-Time 360° Sparse View Synthesis using Gaussian Splatting

Haolin Xiong, Sairisheek Muttukuru+3 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用 4

一句话总结

SparseGS 提出了一种基于 3D 高斯溅射的实时 360° 伪稀疏视图合成方法，通过整合深度先验、基于扩散模型的生成方法以及一种新颖的自适应浮动物体剔除算子，在少样本设置下实现了最先进性能。该方法减少了背景坍塌和浮动物体，与基础 3DGS 相比 LPIPS 提升最高达 30.5%，与基于 NeRF 的方法相比提升 15.6%，同时在单张 GPU 上保持了实时推理速度。

ABSTRACT

3D Gaussian Splatting (3DGS) has recently enabled real-time rendering of unbounded 3D scenes for novel view synthesis. However, this technique requires dense training views to accurately reconstruct 3D geometry. A limited number of input views will significantly degrade reconstruction quality, resulting in artifacts such as "floaters" and "background collapse" at unseen viewpoints. In this work, we introduce SparseGS, an efficient training pipeline designed to address the limitations of 3DGS in scenarios with sparse training views. SparseGS incorporates depth priors, novel depth rendering techniques, and a pruning heuristic to mitigate floater artifacts, alongside an Unseen Viewpoint Regularization module to alleviate background collapses. Our extensive evaluations on the Mip-NeRF360, LLFF, and DTU datasets demonstrate that SparseGS achieves high-quality reconstruction in both unbounded and forward-facing scenarios, with as few as 12 and 3 input images, respectively, while maintaining fast training and real-time rendering capabilities.

研究动机与目标

• 为解决从稀疏训练视图中实现一致的 360° 新视角合成的挑战，现有方法在该任务中常出现背景坍塌和浮动物体问题。
• 通过引入显式可微分约束与新颖的剔除机制，克服 3D 高斯溅射在少样本设置下的局限性。
• 在仅使用极少训练数据的无界 360° 场景中，实现实时渲染性能并保持高保真度结果。
• 利用 3D 高斯的显式特性，实现对浮动物体等伪影的直接、自适应调控，这与隐式神经表示形成对比。

提出的方法

• 该方法基于 3D 高斯溅射，并引入一种新颖的自适应浮动物体剔除算子，用于识别并移除渲染视图中高密度且位置不规则的伪影。
• 通过预测深度图与真实深度图之间的皮尔逊相关系数，引入深度相关性损失，以增强跨视图的深度一致性。
• 在训练过程中应用来自扩散模型的得分蒸馏采样（SDS）损失，以监督视图覆盖度较低的区域。
• 训练流程整合了这些组件，并在 20k 和 25k 次迭代时执行迭代式剔除，使用学习到的阈值（a=97, b=-8）检测并清除浮动物体。
• 采用基于图像块的深度相关性损失，使用 128×128 大小的图像块，每轮迭代选择 50% 的块以提升泛化能力。
• 使用超参数 λ_depth=0.1 和 λ_SDS=5×10⁻⁴ 来平衡深度监督与扩散模型监督的贡献。

Figure 1 : Our proposed pipeline incorporates depth and diffusion constraints along with a floater pruning technique to improve few-shot novel view synthesis performance. During training, we render the alpha-blended depth $d^{\text{alpha}}$ and use Pearson correlation to encourage it to align with $

实验结果

研究问题

• RQ1 显式的 3D 高斯表示能否在仅使用极少训练视图的条件下，有效适配于 360° 新视角合成任务？
• RQ2 在稀疏视图设置下，整合深度相关性与基于扩散模型的监督是否能显著减少浮动物体与背景坍塌？
• RQ3 对 3D 高斯施加直接可微分的剔除算子，是否能优于神经辐射场中的隐式正则化方法？
• RQ4 显式约束与自适应剔除的结合，如何影响无界场景中推理速度与渲染质量？

主要发现

• 在 Mip-NeRF-360 数据集的少样本条件下，SparseGS 相较于基础 3D 高斯溅射，LPIPS 提升达 30.5%。
• 与基于 NeRF 的方法相比，LPIPS 提升 15.6%，表明其在泛化能力与伪影抑制方面具有显著优势。
• 消融实验表明，浮动物体剔除对 PSNR 提升贡献最大，若移除该模块，PSNR 下降 1.0 分。
• 完整模型在深度图质量上表现最佳，结合了深度相关性损失带来的平滑性与剔除及扩散模型带来的背景细节准确性。
• 该方法在单张 RTX 3090 上实现 40 FPS 的推理速度，实现了实时推理，且训练与推理成本显著低于先前方法。
• 尽管性能优异，该方法对 COLMAP 生成的点云精度仍较敏感，尤其在初始点数少于 20 个的稀疏视图场景中。

Figure 2 : An illustration of how $d^{\text{alpha}}$ and $d^{\text{mode}}$ can disagree. On top, we see an example ray with 4 gaussians along it. On bottom, we see values of $T_{i}$ , $\alpha_{i}$ , and $w_{i}$ along this ray. Note the upward and downward axes both represent positive values and are