[论文解读] NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM

Zihan Zhu, Songyou Peng+5 more|arXiv (Cornell University)|Feb 7, 2023

Robotics and Sensor-Based Localization被引用 7

一句话总结

NICER-SLAM 是一种新颖的端到端可微分 RGB SLAM 系统，仅使用单目 RGB 输入，联合优化相机位姿和分层神经隐式场景表示。通过整合单目几何线索、光流以及几何一致性损失，它在无深度传感器的大规模室内场景中，实现了与 RGB-D SLAM 系统相当的高保真度密集 3D 重建和新视角合成性能。

ABSTRACT

Neural implicit representations have recently become popular in simultaneous localization and mapping (SLAM), especially in dense visual SLAM. However, previous works in this direction either rely on RGB-D sensors, or require a separate monocular SLAM approach for camera tracking and do not produce high-fidelity dense 3D scene reconstruction. In this paper, we present NICER-SLAM, a dense RGB SLAM system that simultaneously optimizes for camera poses and a hierarchical neural implicit map representation, which also allows for high-quality novel view synthesis. To facilitate the optimization process for mapping, we integrate additional supervision signals including easy-to-obtain monocular geometric cues and optical flow, and also introduce a simple warping loss to further enforce geometry consistency. Moreover, to further boost performance in complicated indoor scenes, we also propose a local adaptive transformation from signed distance functions (SDFs) to density in the volume rendering equation. On both synthetic and real-world datasets we demonstrate strong performance in dense mapping, tracking, and novel view synthesis, even competitive with recent RGB-D SLAM systems.

研究动机与目标

• 开发一种统一的、端到端可优化的密集 SLAM 系统，仅使用单目 RGB 视频联合执行跟踪与建图。
• 通过引入单目几何线索和运动监督，克服仅 RGB SLAM 中的深度模糊性和较差的 3D 重建问题。
• 在无 RGB-D 传感器的大规模室内场景中，实现高质量的新视角合成和精确的密集 3D 重建。
• 通过引入分层特征网格和自适应 SDF 到密度转换，提升隐式 SLAM 中的优化稳定性和收敛性。

提出的方法

• 该系统采用从粗到细的分层神经隐式表示，编码用于几何和颜色的有符号距离函数（SDF），实现高保真度 3D 重建。
• 通过整合单目深度、法线和光流预测作为几何监督，以消除深度模糊性并改善优化过程。
• 提出一种新颖的图像扭曲损失，通过对齐预测和观测的 RGB 图像，强制连续帧之间的几何一致性。
• 提出一种局部自适应的 SDF 到体素密度的转换方法，以更好地匹配连续的 RGB 输入，并提升复杂室内场景中的渲染质量。
• 该框架是端到端可微分的，通过可微体素渲染，联合优化相机位姿和神经隐式场景表示。
• 系统采用多分辨率特征网格表示颜色和 SDF，其中粗粒度特征网格有助于提升几何学习和收敛性。

实验结果

研究问题

• RQ1 能否仅使用单目 RGB 输入和神经隐式场景表示，构建一个统一的、端到端可微分的 SLAM 系统，用于同时实现跟踪与建图？
• RQ2 单目几何线索（深度、法线、光流）如何提升仅 RGB SLAM 中的优化稳定性和准确性？
• RQ3 分层神经隐式表示与自适应 SDF 到密度转换对 3D 重建质量和新视角合成有何影响？
• RQ4 此类系统能否在建图精度和视角合成保真度方面达到与最先进 RGB-D SLAM 系统相当的性能？

主要发现

• 在 Replica 数据集上，NICER-SLAM 在相机跟踪和 3D 重建方面均达到最先进性能，ATE RMSE 为 2.01 mm，完整度比率为 83.98%。
• 消融研究显示，若移除单目深度或法线监督，跟踪和重建精度显著下降，凸显其在消除歧义中的关键作用。
• 采用粗细两级特征网格的分层结构可提升几何学习能力；若移除粗粒度网格，ATE RMSE 增加 1.06，完整度比率下降 16.69 个百分点。
• 局部自适应的 SDF 到密度转换优于固定和全局优化的 beta 设置，在几何精度与跟踪性能之间取得最佳平衡。
• 与使用占据表示相比，采用 SDF 表示场景几何可实现更精确的表面重建，这在定性对比中体现为更清晰的法线图和更高的完整度。
• 完整的损失设置（包括图像扭曲、光流和几何监督）在消融实验中表现最佳，实现了最高的完整度比率和最低的 ATE RMSE。