[论文解读] Robust Keyframe-based Dense SLAM with an RGB-D Camera

Haomin Liu, Chen Li+4 more|arXiv (Cornell University)|Nov 14, 2017

Robotics and Sensor-Based Localization参考文献 39被引用 14

一句话总结

RKD-SLAM 是一种针对 RGB-D 相机的鲁棒、基于关键帧的稠密 SLAM 系统，可在单核 CPU 上实现实时、无漂移的 3D 重建，实现高精度跟踪与在线表面校正。它结合了彩色-深度融合以实现快速跟踪，增量式 bundle adjustment 以实现高效优化，并采用基于关键帧的深度融合，实现长期运行而不会出现内存爆炸问题。

ABSTRACT

In this paper, we present RKD-SLAM, a robust keyframe-based dense SLAM approach for an RGB-D camera that can robustly handle fast motion and dense loop closure, and run without time limitation in a moderate size scene. It not only can be used to scan high-quality 3D models, but also can satisfy the demand of VR and AR applications. First, we combine color and depth information to construct a very fast keyframe-based tracking method on a CPU, which can work robustly in challenging cases (e.g.~fast camera motion and complex loops). For reducing accumulation error, we also introduce a very efficient incremental bundle adjustment (BA) algorithm, which can greatly save unnecessary computation and perform local and global BA in a unified optimization framework. An efficient keyframe-based depth representation and fusion method is proposed to generate and timely update the dense 3D surface with online correction according to the refined camera poses of keyframes through BA. The experimental results and comparisons on a variety of challenging datasets and TUM RGB-D benchmark demonstrate the effectiveness of the proposed system.

研究动机与目标

• 解决现有稠密 SLAM 系统在处理快速运动、回环检测和无漂移长期运行方面的局限性。
• 实现在单核 CPU 上的实时稠密 SLAM，避免依赖多块高端 GPU 或时间受限的运行。
• 开发一种基于关键帧的方法，支持在线稠密表面校正，并最小化跟踪误差的累积。
• 在保持计算效率的同时，实现与最先进系统相当的高精度 3D 重建。
• 通过支持在 VR 和 AR 中的实际应用，实现更长的运行时间与在复杂场景中的鲁棒性。

提出的方法

• 提出一种基于关键帧的跟踪方法，通过融合彩色与深度信息，在单核 CPU 上实现鲁棒且高速的跟踪（70–200 fps）。
• 提出一种增量式 bundle adjustment 算法，重用中间计算结果，并自适应地仅更新受影响的关键帧，以减少冗余计算。
• 采用基于关键帧的深度表示方法，将非关键帧的深度数据融合到关键帧中，减少冗余并实现高效的在线表面更新。
• 使用统一的优化框架同时执行局部与全局 bundle adjustment，提升地图精度与漂移校正能力。
• 通过深度数据的去集成与重新集成，基于 BA 优化后的相机位姿实时校正稠密表面模型。
• 实现分层融合策略，将非关键帧的深度图集成到关键帧中，降低存储与计算开销。

实验结果

研究问题

• RQ1 基于关键帧的稠密 SLAM 系统是否能在单核 CPU 上实现实时性能，同时在复杂场景中保持高精度？
• RQ2 如何设计增量式 bundle adjustment 以最小化冗余计算，同时支持局部与全局优化？
• RQ3 基于关键帧的深度融合能否在减少内存与计算负载的同时，实现与逐帧融合相当的表面重建精度？
• RQ4 该系统在处理快速运动、无纹理区域和回环检测时，是否能保持稳定且不发生失败？
• RQ5 通过关键帧融合实现的在线表面校正，能在多大程度上减少漂移并提升长期重建的稳定性？

主要发现

• 在 ICL-NUIM 数据集上，RKD-SLAM 在关键帧上的绝对轨迹误差（ATE）均方根误差（RMSE）分别为 1.8cm、1.6cm 和 3.2cm，在无纹理复杂场景中优于大多数最先进方法。
• 在 TUM RGB-D 基准测试中，RKD-SLAM 的 ATE 性能与 ElasticFusion 和 BundleFusion 等领先系统相当，且在更多场景中实现了成功跟踪。
• 在 ICL-NUIM 数据集上，表面重建精度的 RMSE 分别为 0.9cm、1.1cm 和 1.6cm，与逐帧融合方法（0.8cm、1.3cm、1.8cm）相当，证明了基于关键帧融合的有效性。
• 系统成功处理了快速运动与复杂回环，仅在极端无纹理的 'kt0' 序列中出现 30.5% 的帧跟踪失败。
• 通过重用中间结果并仅更新必要关键帧，增量式 bundle adjustment 显著减少了计算时间，支持长期运行。
• RKD-SLAM 在笔记本电脑上可无时间限制运行，而 BundleFusion 在约 10 分钟后即失效，因此更适合需要长时间运行的 VR/AR 应用。