[论文解读] SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

Mingrui Li, Shuhong Liu+5 more|arXiv (Cornell University)|Feb 5, 2024

Robotics and Sensor-Based Localization被引用 8

一句话总结

SGS-SLAM 是一个语义密集视觉 SLAM 系统，使用三维高斯点云投影来联合优化外观、几何和二维语义先验，从而实现实时渲染、准确的三维语义分割，以及基于对象的场景编辑。

ABSTRACT

We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.

研究动机与目标

• 以显式高斯表示为驱动，推动密集 SLAM，克服类似 NeRF 的过平滑问题，并实现实时渲染与对象级编辑。
• 提出一个多通道优化框架，通过高斯表示将外观、深度/几何和语义信号联合融合。
• 引入语义特征损失和语义感知的关键帧选择，以提升地图质量并对累积误差具有鲁棒性。
• 在合成数据和真实数据集上展示最先进的跟踪、建图和三维语义分割，且实现实时渲染。
• 展示下游功能，如通过操作与语义标签绑定的高斯组来进行场景编辑。

提出的方法

• 将场景表述为带有几何、外观和语义通道的显式三维高斯辐射场。
• 通过可微分的投影将高斯投射到二维，并使用带深度感知的前后向合成（最大体积渲染）。
• 使用多通道损失 L_tracking，将深度、颜色和二维语义重投影与基于轮廓的可见性掩模结合。
• 通过对高斯进行密化并联动优化几何、外观和语义通道，使用结合深度、颜色（基于 SSIM 的）和语义颜色项的映射损失来进行地图重建。
• 引入基于几何重叠和语义 mIoU 差异的两级关键帧选择策略，以稳定跟踪和建图。
• 通过编辑对应语义标签的高斯组，在不重新训练整个模型的情况下实现对象级场景操作。

Figure 1: The illustration of the proposed SGS-SLAM. It employs 2D inputs encompassing appearance, geometry, and semantic information, leveraging Gaussian Splatting and differentiable rendering for multi-channel parameter optimization. During the mapping process, SGS-SLAM maps the 2D semantic prior

实验结果

研究问题

• RQ1 是否可以通过多通道监督来优化三维高斯密集表示，从而实现高保真渲染和准确的三维语义分割？
• RQ2 将语义信息纳入关键帧选择是否能提高 SLAM 的鲁棒性和地图质量？
• RQ3 语义引导下的优化如何影响对象级几何和下游场景编辑任务？
• RQ4 在合成数据和真实数据上使用显式高斯表示进行实时 SLAM 的性能和内存影响有哪些？
• RQ5 与基于 NeRF 的语义 SLAM 方法在跟踪、建图和分割准确性方面，SGS-SLAM 有何比较？

主要发现

• 在论文的实验中，SGS-SLAM 在 Replica/ScanNet 风格基准上的跟踪（ATE RMSE）和建图（Depth L1、PSNR）指标达到最先进或领先水平。
• 显式高斯表示与多通道优化能够实现高保真边缘保持和清晰对象边界，缓解 NeRF 的过平滑问题。
• 将二维语义先验作为显式通道纳入可提升三维语义分割的准确性，相对于基于 NeRF 的语义 SLAM 基线有报告的提升。
• 语义引导的关键帧选择和不确定性权重降低了由累积跟踪误差引起的漂移和错误重建。
• 通过高斯操作进行场景编辑（如删除或变换语义标注的对象）可以实时完成，而无需重新训练，这归功于解耦的高斯表示。

Figure 2: Qualitative comparison of our method and the baselines for reconstruction across three scenes from the Replica Dataset Straub et al. ( 2019 ) , with key details accentuated using colorful boxes. The results demonstrate that our method delivers more high-fidelity and robust reconstructions,