[论文解读] MultiCol-SLAM - A Modular Real-Time Multi-Camera SLAM System

Steffen Urban, Stefan Hinz|arXiv (Cornell University)|Oct 24, 2016

Robotics and Sensor-Based Localization参考文献 5被引用 20

一句话总结

本文提出 MultiCol-SLAM，一种模块化、实时的 SLAM 系统，适用于刚性耦合的多鱼眼相机配置，通过使用 MultiCol 模型提升定位精度与鲁棒性。通过扩展 ORB-SLAM 实现多相机融合、基于关键帧的优化以及并行处理，该系统在动态和复杂环境中显著提升了平移与旋转精度，通过在多条轨迹上的真实轨迹评估得到验证。

ABSTRACT

The basis for most vision based applications like robotics, self-driving cars and potentially augmented and virtual reality is a robust, continuous estimation of the position and orientation of a camera system w.r.t the observed environment (scene). In recent years many vision based systems that perform simultaneous localization and mapping (SLAM) have been presented and released as open source. In this paper, we extend and improve upon a state-of-the-art SLAM to make it applicable to arbitrary, rigidly coupled multi-camera systems (MCS) using the MultiCol model. In addition, we include a performance evaluation on accurate ground truth and compare the robustness of the proposed method to a single camera version of the SLAM system. An open source implementation of the proposed multi-fisheye camera SLAM system can be found on-line https://github.com/urbste/MultiCol-SLAM.

研究动机与目标

• 解决缺乏适用于任意刚性配置的多鱼眼相机系统的鲁棒、实时 SLAM 解决方案的问题。
• 在单个相机失效的动态与复杂环境中，提升定位精度与鲁棒性。
• 将最先进的基于关键帧的 SLAM（特别是 ORB-SLAM）扩展至支持多相机系统，采用 MultiCol 模型。
• 提供一个模块化、开源的多相机 SLAM 框架，支持并行处理与高效的束调整。
• 通过多条真实世界轨迹（运动模式与场景复杂度各异）的真实轨迹对比验证系统性能。

提出的方法

• 系统通过集成一种 MultiCol 模型扩展 ORB-SLAM，以在多个刚性安装的鱼眼相机之间强制实现几何一致性。
• 采用并行线程进行跟踪、建图与局部束调整，实现在多相机输入下的实时性能。
• 所有相机并行执行特征提取（每台相机 400 个特征），关键帧基于运动与视觉不变性选择。
• 姿态估计采用基于本质矩阵的初始化，通过平移向量幅值阈值实现鲁棒选择，以应对鱼眼相机模型带来的挑战。
• 对关键帧应用局部束调整，以优化相机姿态与三维地图点，通过几何约束融合多视角地图点。
• 评估期间采用 7-DoF 相似变换进行轨迹对齐，以实现精确的 ATE 与 RPE 指标。

实验结果

研究问题

• RQ1 能否有效将模块化、实时的 SLAM 系统扩展至支持任意刚性耦合的多相机系统，特别是鱼眼相机？
• RQ2 与单相机 SLAM 相比，多相机融合在动态与复杂环境中如何提升 SLAM 的精度与鲁棒性？
• RQ3 在受控真实轨迹条件下，使用多个鱼眼相机相较于单个鱼眼相机，在平移与旋转精度方面能带来多大的性能提升？
• RQ4 系统如何通过并行处理与稀疏优化，在处理多相机增加的数据量的同时保持实时性能？
• RQ5 与标准单相机 SLAM 流程相比，MultiCol 模型在多相机 SLAM 中在一致性增强与漂移减少方面有多大提升？

主要发现

• 在激光跟踪轨迹上，MultiCol-SLAM 的中位平移精度为 1.4 cm，而单相机 SLAM 为 31.0 cm，精度提升 95.5%。
• 在快速行走的激光轨迹上，平移精度从单相机的 28.1 cm 降低至多相机的 5.3 cm，误差减少 81.1%。
• 在室内动态环境中，平移误差从 32.4 cm 降低至 2.1 cm，精度提升 93.5%，旋转精度也显著提高。
• 多相机 SLAM 的中位 RPE 为 1.2 cm / 0.33°，而单相机 SLAM 为 1.95 cm / 0.32°，表明在短基线跟踪中性能更优。
• 在室外动态轨迹中，单相机 SLAM 发生了跟踪失败（标记为 'X'），而 MultiCol-SLAM 成功跟踪了整个序列。
• 每帧的总处理时间为 28 ms（多相机）对比 21 ms（单相机），表明多相机处理的额外复杂度在实时范围内可管理。