[论文解读] SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM

Siting Zhu, Renjie Qin+3 more|arXiv (Cornell University)|Mar 12, 2024

Robotics and Sensor-Based Localization被引用 4

一句话总结

SemGauss-SLAM 是首个基于 3D 高斯的语义 SLAM 系统，通过将语义特征嵌入集成到 3D 高斯中，实现实时稠密语义映射、鲁棒的相机跟踪以及高保真渲染。它引入了特征级损失以优化语义，采用语义感知的捆绑调整以减少漂移，在 Replica 和 ScanNet 数据集上实现了跟踪、重建和语义分割精度的最先进性能。

ABSTRACT

We propose SemGauss-SLAM, a dense semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering simultaneously. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift in tracking and improve semantic reconstruction accuracy, we introduce semantic-informed bundle adjustment. By leveraging multi-frame semantic associations, this strategy enables joint optimization of 3D Gaussian representation and camera poses, resulting in low-drift tracking and accurate semantic mapping. Our SemGauss-SLAM demonstrates superior performance over existing radiance field-based SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in high-precision semantic segmentation and dense semantic mapping.

研究动机与目标

• 开发一种实时稠密语义 SLAM 系统，以克服现有方法在语义精度和漂移累积方面的局限性。
• 在无需预设场景边界的前提下，从 2D 语义嵌入实现无界、高效的 3D 语义映射。
• 通过在优化中利用多视角语义一致性，提升跟踪鲁棒性与映射一致性。
• 利用 3D 高斯表示实现高质量语义新颖视角合成与照片级真实感重建。
• 通过语义感知的捆绑调整减少 SLAM 中的累积漂移，联合优化位姿与场景表示。

提出的方法

• 将语义特征嵌入直接集成到 3D 高斯表示中，以在场景的空间布局中编码语义信息。
• 引入一种特征级损失函数，利用高层语义特征指导 3D 高斯的优化，加速收敛并提升细节保真度。
• 提出语义感知的捆绑调整，利用多视角语义一致性作为约束，联合优化相机位姿与 3D 高斯表示。
• 利用共可见帧建立语义关联，实现在观测稀疏区域的鲁棒优化。
• 采用 3D 高斯点绘实现高效、高质量的渲染，并在特征层面集成语义监督以增强场景表示。
• 采用两阶段优化流程：首先通过直接传播将 2D 语义特征转移至 3D 空间，随后结合几何、光度和语义约束进行联合优化。

实验结果

研究问题

• RQ1 3D 高斯表示能否有效扩展以支持高精度 3D 语义映射的实时稠密语义 SLAM？
• RQ2 如何高效地将语义特征嵌入从 2D 传播至 3D 空间，以实现无界且快速的语义优化？
• RQ3 特征级损失能否提升基于 3D 高斯的场景表示中的语义分割精度与收敛速度？
• RQ4 与仅依赖几何信息的传统捆绑调整相比，语义感知的捆绑调整在多大程度上可减少累积跟踪漂移？
• RQ5 语义约束的集成在多大程度上提升了新颖视角的语义合成与重建质量？

主要发现

• SemGauss-SLAM 在 Replica 数据集上实现了 92.81 的 mIoU，较 SNI-SLAM 提升 9.21 个百分点，达到最先进水平。
• 在 room0 场景中，RMSE 降低至 0.26，Depth L1 降低至 0.54，表明几何重建精度显著提升。
• 特征级损失在三个 Replica 场景中平均提升 mIoU 2.71 个百分点，尤其在边界和小物体分割上表现突出。
• 与无语义约束的基线相比，语义感知的捆绑调整使 RMSE 减少 0.09，Depth L1 减少 0.14，凸显其在跟踪与几何优化中的关键作用。
• 消融实验表明，语义约束在减少漂移与提升语义精度方面优于仅使用 RGB 或深度约束。
• 定性结果表明，语义新颖视角合成显著改善，尤其在天花板等观测不足区域，这些区域在基线方法中常被误分类。