[论文解读] RaDe-GS: Rasterizing Depth in Gaussian Splatting

Baowen Zhang, Chuan Fang+4 more|arXiv (Cornell University)|Jun 3, 2024

Industrial Vision Systems and Defect Detection被引用 7

一句话总结

RaDe-GS 引入了用于通用3D高斯斑点的栅格化深度与法线图计算，在渲染效率与标准高斯喷涂法相当的情况下实现准确的表面重建。

ABSTRACT

Gaussian Splatting (GS) has proven to be highly effective in novel view synthesis, achieving high-quality and real-time rendering. However, its potential for reconstructing detailed 3D shapes has not been fully explored. Existing methods often suffer from limited shape accuracy due to the discrete and unstructured nature of Gaussian splats, which complicates the shape extraction. While recent techniques like 2D GS have attempted to improve shape reconstruction, they often reformulate the Gaussian primitives in ways that reduce both rendering quality and computational efficiency. To address these problems, our work introduces a rasterized approach to render the depth maps and surface normal maps of general 3D Gaussian splats. Our method not only significantly enhances shape reconstruction accuracy but also maintains the computational efficiency intrinsic to Gaussian Splatting. It achieves a Chamfer distance error comparable to NeuraLangelo on the DTU dataset and maintains similar computational efficiency as the original 3D GS methods. Our method is a significant advancement in Gaussian Splatting and can be directly integrated into existing Gaussian Splatting-based methods.

研究动机与目标

• 在高斯喷涂框架内推动改进的3D形状重建。
• 开发一种栅格化的方法来计算通用高斯斑点的深度和法线图。
• 在提高形状保真度的同时，保持渲染与优化效率。
• 实现与现有基于高斯喷涂的方法的直接集成。

提出的方法

• 将场景表示为一组半透明的3D高斯分布，中心为 x_c，协方差为 Σ。
• 应用局部仿射（射线空间）投影以对高斯分布进行投影，从而实现高效的栅格化渲染。
• 推导一个闭式、可栅格化的深度方程 d = p̂(u_c − u_o)，用于被投影高斯覆盖的像素。
• 通过在射线方向上最大化高斯来对每像素深度进行计算，并在射线空间推导一个平面法向量以获得法线。
• 在训练中将深度和法线图与光度损失结合使用，包括深度扭曲损失和法线一致性损失。
• 先以渲染损失进行训练，然后添加深度/法线约束以细化几何。

实验结果

研究问题

• RQ1 在局部仿射投影下，是否可以通过栅格化高效地计算通用高斯斑点的深度和法线？
• RQ2 对高斯斑点进行深度/法线图栅格化是否在不牺牲GS渲染/优化效率的前提下改进3D表面重建？
• RQ3 深度扭曲损失和法线一致性损失如何影响高斯喷涂中的3D重建质量？
• RQ4 所提出的方法是否能够实现与隐式方法（如NeuraLangelo）相当的重建精度，同时保持GS的效率？

主要发现

• 3D高斯斑点的栅格化深度和法线计算可实现高质量的3D重建。
• 在DTU数据集上，RaDe-GS 的 Chamfer Distance 达到可与 NeuraLangelo 相当的水平，并且在基于GS的方法中优于 GOF 和 2D GS。
• 该方法保留了标准高斯喷涂的渲染与优化效率。
• RaDe-GS 在隐式方法上具有竞争力的性能，同时在训练阶段仍然比许多基线更快。
• 深度扭曲损失和法线一致性损失进一步提升了表面对齐和保真度。