[论文解读] Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting

Ziyi Yang, Xinyu Gao+7 more|arXiv (Cornell University)|Feb 24, 2024

Industrial Vision Systems and Defect Detection被引用 7

一句话总结

Spec-Gaussian 用各个 3D 高斯替代低频球面谐波，使用各向异性球面高斯外观场，并配以基于锚点的稀疏化和粗到细训练策略，以在保持实时渲染的同时更好地建模镜面反射和各向异性表面。

ABSTRACT

The recent advancements in 3D Gaussian splatting (3D-GS) have not only facilitated real-time rendering through modern GPU rasterization pipelines but have also attained state-of-the-art rendering quality. Nevertheless, despite its exceptional rendering quality and performance on standard datasets, 3D-GS frequently encounters difficulties in accurately modeling specular and anisotropic components. This issue stems from the limited ability of spherical harmonics (SH) to represent high-frequency information. To overcome this challenge, we introduce Spec-Gaussian, an approach that utilizes an anisotropic spherical Gaussian (ASG) appearance field instead of SH for modeling the view-dependent appearance of each 3D Gaussian. Additionally, we have developed a coarse-to-fine training strategy to improve learning efficiency and eliminate floaters caused by overfitting in real-world scenes. Our experimental results demonstrate that our method surpasses existing approaches in terms of rendering quality. Thanks to ASG, we have significantly improved the ability of 3D-GS to model scenes with specular and anisotropic components without increasing the number of 3D Gaussians. This improvement extends the applicability of 3D GS to handle intricate scenarios with specular and anisotropic surfaces. Project page is https://ingra14m.github.io/Spec-Gaussian-website/.

研究动机与目标

• 在具有镜面和各向异性成分的场景渲染方面，推动超越传统的 3D Gaussian Splatting (3D-GS) 的改进。
• 提出基于各向异性球面高斯 (ASG) 的新外观模型，以捕捉高频视角相关效应。
• 通过基于锚点的混合高斯表示来减少存储并加速训练/渲染。
• 通过粗到细训练策略缓解现实场景中的浮伪物和过拟合。

提出的方法

• 用各向异性球面高斯 (ASG) 外观场替代 3D-GS 中基于 SH 的面向视角的外观。
• 通过一个紧凑的多层感知机（MLP）利用每个高斯的局部特征来预测每个高斯的 ASG 参数。
• 将漫反射和镜面反射颜色解耦；漫反射颜色采用基于 SH 的建模，而镜面反射使用 ASG 以及一个小型 MLP Ψ 进行最终颜色预测。
• 引入锚点高斯来引导神经高斯的生成，减少存储并实现高效渲染。
• 实现粗到细训练计划，以在现实场景中减少浮伪物并提升学习效率。

实验结果

研究问题

• RQ1 基于 ASG 的外观场是否能够在不牺牲实时渲染速度的前提下改善 3D Gaussian Splatting 中镜面高光与各向异性的建模？
• RQ2 基于锚点的稀疏化方案是否在实现 ASG 表达能力的同时保持几何结构并减少存储？
• RQ3 粗到细的训练方案是否能减少浮伪物并提高对现实世界新视角的泛化能力？
• RQ4 与最先进的 3D-GS、基于 NeRF 的方法以及相关点状方法在合成数据与真实数据集上的比较如何？

主要发现

• 在现实世界和合成数据集上达到最先进的渲染质量，特别是在建模镜面高光和各向异性表面方面。
• 带有特征解耦 MLP 的 ASG 外观场显著提升了相较于基于 SH 的外观的各向异性/镜面渲染。
• 基于锚点的 Gaussian splatting 在保持高质量的同时，减少存储并加速训练/渲染。
• 粗到细训练在现实世界场景中显著减少浮伪物并提高学习效率。
• 该方法在有界和无界场景中平衡 PSNR/SSIM/LPIPS 性能、FPS 和内存预算。