[论文解读] Trim 3D Gaussian Splatting for Accurate Geometry Representation

Lue Fan, Yuxue Yang+3 more|arXiv (Cornell University)|Jun 11, 2024

Image Processing and 3D Reconstruction被引用 4

一句话总结

本文提出了一种名为Trim 3D Gaussian Splatting（TrimGS）的新方法，通过基于贡献度评估选择性地修剪渲染中不准确或冗余的高斯分布，同时保持较小的高斯尺度以保留精细细节，从而提升3D几何重建质量。TrimGS通过整合基于贡献度的修剪、尺度控制与法向一致性正则化，在几何精度和视觉感知质量方面均优于基线3DGS和2DGS方法。

ABSTRACT

In this paper, we introduce Trim 3D Gaussian Splatting (TrimGS) to reconstruct accurate 3D geometry from images. Previous arts for geometry reconstruction from 3D Gaussians mainly focus on exploring strong geometry regularization. Instead, from a fresh perspective, we propose to obtain accurate 3D geometry of a scene by Gaussian trimming, which selectively removes the inaccurate geometry while preserving accurate structures. To achieve this, we analyze the contributions of individual 3D Gaussians and propose a contribution-based trimming strategy to remove the redundant or inaccurate Gaussians. Furthermore, our experimental and theoretical analyses reveal that a relatively small Gaussian scale is a non-negligible factor in representing and optimizing the intricate details. Therefore the proposed TrimGS maintains relatively small Gaussian scales. In addition, TrimGS is also compatible with the effective geometry regularization strategies in previous arts. When combined with the original 3DGS and the state-of-the-art 2DGS, TrimGS consistently yields more accurate geometry and higher perceptual quality. Our project page is https://trimgs.github.io

研究动机与目标

• 解决尽管渲染质量高，3D Gaussian Splatting（3DGS）仍存在杂乱、不准确几何的问题。
• 提出一种新策略——高斯修剪，通过移除不准确或冗余的组件来优化3D高斯场，而非仅依赖强几何正则化。
• 分析高斯尺度对几何表示与优化过程的影响，揭示大尺度高斯分布会阻碍细节保留与梯度稳定性。
• 开发一种与现有3DGS和2DGS框架兼容的通用方法，同时提升几何精度与视觉渲染质量。

提出的方法

• 引入一种基于贡献度的度量方法，通过透明度混合权重推导出每个高斯分布对渲染的影响，以指导修剪决策。
• 提出一种渐进式修剪策略，在保留对几何精度至关重要的高斯分布的同时，移除贡献度较低的高斯分布。
• 在密集化过程中实施尺度控制，以维持相对较小的高斯尺度，从而提升高频细节的表示能力并减少梯度噪声。
• 集成法向一致性正则化，以稳定几何优化过程并提升表面精度。
• 设计一种统一的训练流程，将修剪、尺度控制与正则化整合于一个兼容3DGS与2DGS的框架中。
• 采用伽马控制的阈值机制（公式5），以平衡修剪的激进程度与几何保真度。

实验结果

研究问题

• RQ1 基于贡献度评估的高斯修剪能否在几何重建方面超越传统几何正则化方法？
• RQ2 高斯尺度如何影响3DGS中的优化过程与细节表示？
• RQ3 保持小尺度高斯分布是否能更好地保留精细几何与外观细节？
• RQ4 修剪策略在不降低渲染质量的前提下，能否与现有正则化技术（如法向一致性）有效结合？
• RQ5 与当前最先进的2DGS和3DGS方法相比，该方法在几何精度与视觉感知质量方面表现如何？

主要发现

• 在DTU数据集上，与基线3DGS相比，TrimGS将平均Chamfer距离（CD）降低了最多30%，CD值从1.45降至0.82（在最优修剪条件下）。
• 在MipNeRF360基准测试中，Trim2DGS相比2DGS在LPIPS上提升了19.3%（0.193 vs. 0.218），表明其具有显著更优的视觉感知质量。
• 若不采用尺度控制，Trim2DGS的LPIPS上升15%（0.218 vs. 0.193），证实尺度控制对保留细节至关重要。
• 该方法在提升几何精度的同时，仍保持较高的PSNR（如MipNeRF360上达到29.98），表明其在渲染质量与几何保真度之间实现了良好平衡。
• 可视化结果表明，Trim2DGS生成的高斯分布分布更均匀，且存储消耗更低，如在花朵与自行车场景中所见。
• 理论与实证分析均证实，大尺度高斯分布存在梯度噪声大、高频细节表达能力有限的问题。