[论文解读] SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM

Nikhil Keetha, Jay Karhade+5 more|arXiv (Cornell University)|Dec 4, 2023

Robotics and Sensor-Based Localization被引用 6

一句话总结

SplaTAM 提出了一种新颖的稠密 RGB-D SLAM 系统，采用 3D 高斯溅射作为显式体素地图表示，实现了亚厘米级定位精度的实时跟踪与建图。通过利用可微分渲染和轮廓引导优化，其在相机位姿估计、地图重建和新视角合成方面达到最先进性能——在关键指标上相比先前方法提升高达 2 倍，同时实现 400 FPS 的渲染速度。

ABSTRACT

Dense simultaneous localization and mapping (SLAM) is crucial for robotics and augmented reality applications. However, current methods are often hampered by the non-volumetric or implicit way they represent a scene. This work introduces SplaTAM, an approach that, for the first time, leverages explicit volumetric representations, i.e., 3D Gaussians, to enable high-fidelity reconstruction from a single unposed RGB-D camera, surpassing the capabilities of existing methods. SplaTAM employs a simple online tracking and mapping system tailored to the underlying Gaussian representation. It utilizes a silhouette mask to elegantly capture the presence of scene density. This combination enables several benefits over prior representations, including fast rendering and dense optimization, quickly determining if areas have been previously mapped, and structured map expansion by adding more Gaussians. Extensive experiments show that SplaTAM achieves up to 2x superior performance in camera pose estimation, map construction, and novel-view synthesis over existing methods, paving the way for more immersive high-fidelity SLAM applications.

研究动机与目标

• 为解决 SLAM 中隐式神经表示的局限性，如计算效率低下、难以编辑以及空间控制性差。
• 实现使用单个未标定的单目 RGB-D 相机进行稠密、实时 SLAM，具备高保真度重建与精确的相机跟踪能力。
• 利用显式 3D 高斯实现快速渲染、直接梯度传播，并通过增量式稠密化实现结构化地图扩展。
• 相比现有基于辐射场的方法与手工设计的 SLAM 方法，在相机位姿估计、场景重建与新视角合成方面实现更优性能。

提出的方法

• 系统采用 3D 高斯溅射作为场景的底层表示，每个高斯分布由其 3D 位置、颜色与尺度定义。
• 采用可微分渲染计算跟踪与建图的光度损失，实现相机位姿与高斯参数的端到端联合优化。
• 提出轮廓引导优化策略，通过渲染地图轮廓识别未观测区域，将优化限制在已映射区域，从而提升效率与精度。
• 移除视图相关的外观特性，并使用各向同性高斯分布以加速渲染与优化，实现在高分辨率输入下高达 400 FPS 的性能。
• 通过仅在新观测区域添加新高斯分布的方式在线执行地图扩展，确保结构化且高效的稠密化过程。
• 流水线集成在线跟踪与建图，利用全分辨率图像上的密集光度损失进行联合优化。

Figure 1 : SplaTAM enables precise camera tracking and high-fidelity reconstruction for dense simultaneous localization and mapping (SLAM) in challenging real-world scenarios. SplaTAM achieves this by online optimization of an explicit volumetric representation, $3$ D Gaussian Splatting [ 14 ] , usi

实验结果

研究问题

• RQ1 显式 3D 高斯表示能否实现使用单个未标定单目 RGB-D 相机的实时稠密 SLAM？
• RQ2 与隐式神经表示相比，3D 高斯溅射在 SLAM 中的优化速度、地图控制性与可编辑性方面表现如何？
• RQ3 轮廓引导优化能否在纹理缺失或具有挑战性的环境中提升跟踪鲁棒性？
• RQ4 在显式体素表示中，密集光度损失在 SLAM 中能否被高效应用？
• RQ5 3D 高斯的引入在渲染速度、地图保真度与跟踪精度之间的权衡关系如何？

主要发现

• 在 Replica/Room 0 数据集上，SplaTAM 实现了 0.27 cm 的 ATE（绝对轨迹误差），相比最先进方法提升 2 倍。
• 新视角合成的 PSNR 达到 32.81 dB，显著优于基线方法，且在轮廓引导稠密化下，0.99 分位数误差降低 5 倍。
• 尽管每帧需渲染 120 万个像素，SplaTAM 在 RTX 3080 Ti 上仍保持每帧 1.00 秒的运行时间，与仅使用 200–1000 个采样像素的方法相当。
• 消融研究证实，同时结合颜色与深度损失可获得最佳性能（ATE: 0.27 cm），而省略任一损失均导致性能显著下降。
• 轻量化版本 SplaTAM-S 速度提升 5 倍，性能仅轻微下降（ATE: 0.39 cm），展现出良好的可扩展性与效率。
• 系统可在 876×584 分辨率下实现 400 FPS 的实时照片级真实感渲染，充分展示了稠密 3D 地图的高保真可视化能力。

Figure 2 : Overview of SplaTAM . Top-Left: The input to our approach at each timestep is the current RGB-D frame and the 3D Gaussian Map Representation that we have built representing all of the scene seen so far. Top-Right: Step (1) estimates the camera pose for the new image, using silhouette-guid