[论文解读] Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

Tao Lu, Mulin Yu+5 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用 4

一句话总结

Scaffold-GS 通过 SfM 点云提取的锚点，引入一种基于结构化的 3D 高斯表示，实现基于视角方向和距离的视图自适应、实时预测高斯属性（颜色、不透明度、尺度、旋转）。该方法减少了冗余，提升了对视角变化和无纹理区域的鲁棒性，并在约 100 FPS 下实现 SOTA 渲染质量，同时相比 3D-GS 显著降低了存储需求。

ABSTRACT

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.

研究动机与目标

• 为解决 3D 高斯点阵（3D-GS）存在的冗余和视图效率低下问题，其在训练视图上过拟合，且对大视角变化缺乏鲁棒性。
• 提升在 3D-GS 难以处理的无纹理、高反射或复杂室内外场景中的场景覆盖度和渲染鲁棒性。
• 在保持高保真、实时渲染的前提下，降低模型存储和计算开销。
• 通过基于锚点特征和视角位置的条件视图依赖 MLP，实现实时、动态的高斯属性预测。
• 开发一种可靠的锚点生长与剪枝策略，在不增加冗余的前提下提升场景覆盖度。

提出的方法

• Scaffold-GS 从 SfM 点云中初始化一个稀疏体素网格锚点，作为局部 3D 高斯分布的结构锚点。
• 每个锚点通过视图依赖的 MLP 动态预测高斯属性（颜色、不透明度、尺度、旋转），输入为视角方向和视锥内的距离。
• 推理阶段通过基于不透明度的可学习选择器对神经高斯进行过滤，排除平凡或空置区域后再进行光栅化。
• 形成双层结构：在网格上分布稀疏锚点，每个锚点生成一组神经高斯，实现区域感知与视图自适应表示。
• 通过预测的高斯重要性指导锚点优化，执行生长（在低覆盖区域添加新锚点）与剪枝（移除不重要锚点）。
• 方法将推理限制在视锥内的锚点范围内，并应用基于不透明度的过滤策略，以最小化保真度损失为代价显著加速渲染。

实验结果

研究问题

• RQ1 基于结构化锚点的 3D 高斯表示是否能提升在无纹理区域或高光泽区域等挑战性场景中的视图自适应渲染鲁棒性？
• RQ2 与固定 3D-GS 相比，是否可通过实时、视图依赖的高斯属性预测减少冗余和存储开销？
• RQ3 动态锚点优化策略（生长与剪枝）是否能在不增加模型大小的前提下提升场景覆盖度与保真度？
• RQ4 该方法是否能在保持约 100 FPS 高渲染速度的同时，实现 SOTA 的 PSNR 指标并显著降低存储需求？
• RQ5 初始 SfM 点云质量对性能的影响程度如何？该框架能否补偿稀疏初始化带来的影响？

主要发现

• Scaffold-GS 在 Blender Playroom 数据集上达到 30.62 的 PSNR，在 Dr. Johnson 数据集上达到 29.80，性能与 3D-GS 相当或更优，同时存储量分别仅为 63MB 和 68MB，显著降低。
• 在 Playroom 数据集上，启用完整过滤后推理速度达 150 FPS，未过滤时为 84 FPS，证明了基于不透明度过滤的有效性。
• 该方法在透明、反射和无纹理表面等多样化挑战性条件下均保持高保真度，而 3D-GS 在此类场景中通常表现不佳。
• 锚点生长操作对恢复细节和无纹理区域至关重要，而剪枝则有效控制存储增长并提升效率。
• 在不同 k 值下对神经高斯激活的实验表明，高斯数量收敛至稳定值，表明对超参数设置具有鲁棒性。
• 过滤策略对 PSNR 影响极小，但显著提升推理速度，完整过滤在 1K 分辨率下实现 150 FPS。