[论文解读] SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

Antoine Guédon, Vincent Lepetit|arXiv (Cornell University)|Nov 21, 2023

Computer Graphics and Visualization Techniques被引用 24

一句话总结

SuGaR 引入一个正则化项，使 3D 高斯与场景表面对齐，从而通过泊松重建实现快速、可扩展的网格提取，并可选网格–高斯联合细化以便可编辑的高质量渲染。

ABSTRACT

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality. Our project page is the following: https://anttwo.github.io/sugar/

研究动机与目标

• 促进从 3D 高斯溅射中快速、准确的网格提取，同时保持渲染质量。
• 鼓励高斯与场景表面对齐，以实现可靠网格化。
• 提供可扩展的网格提取方法（Poisson 重建）和可选的联合网格–高斯细化工作流。
• 通过将高斯绑定到可编辑网格，实现编辑、动画和重光照。

提出的方法

• 引入一个正则化项，强制高斯在场景表面上的对齐和均匀分布。
• 从高斯密度导出一个理想的基于密度的表面距离 f(p)，并在采样点上最小化 |f(p)−f̂(p)|，以引导高斯朝向表面。
• 使用来自训练视角的深度图计算高效的基于 SDF 的正则化，以估计 f̂(p)。
• 通过在高斯密度的等值面上采样点并应用泊松重建来提取网格，如有需要可使用 SDF 的法线。
• 可选地将新高斯绑定到提取的网格并联合优化网格与高斯，以提升渲染和编辑能力。
• 提供一个实用的流程，在单个 GPU 上几分钟内生成可编辑网格。

实验结果

研究问题

• RQ1 如何使来自 3D 高斯溅射的高斯与场景表面对齐？
• RQ2 是否可以使用等值面采样策略和泊松重建，从密集的非结构化高斯场高效提取网格？
• RQ3 将新高斯绑定到提取的网格并对其进行联合细化是否能提升渲染质量并实现基于网格的编辑？
• RQ4 与基于网格或基于体渲染的基线相比，SuGaR 在渲染质量和提取速度方面的表现如何？

主要发现

• 正则化项促使高斯与场景表面对齐并均匀覆盖表面，便于网格提取。
• 通过等值线采样和泊松重建进行网格提取具有可扩展性，且通常在单 GPU 上数分钟内完成，明显快于基于 NeRF 的网格化方法。
• 将高斯绑定到提取的网格并对其联合细化，可获得更高渲染质量并实现基于网格的编辑与重光照。
• 实验表明 SuGaR 能实现高质量渲染，并在渲染质量和提取速度方面与若干以网格或 radiance 场为基础的前沿方法相当或更优。