[论文解读] VIRAL SLAM: Tightly Coupled Camera-IMU-UWB-Lidar SLAM

Thien‐Minh Nguyen, Shenghai Yuan+3 more|arXiv (Cornell University)|May 7, 2021

Robotics and Sensor-Based Localization参考文献 25被引用 27

一句话总结

VIRAL SLAM 提出一个紧耦合的 SLAM 框架，融合 IMU、立体相机、多个激光雷达和 UWB 测距。它采用两阶段方法，包含局部滑窗里程计、全局姿态图优化、回环检测以及 BA，将 UWB 锚点对齐到板载 SLAM 框架。

ABSTRACT

In this paper, we propose a tightly-coupled, multi-modal simultaneous localization and mapping (SLAM) framework, integrating an extensive set of sensors: IMU, cameras, multiple lidars, and Ultra-wideband (UWB) range measurements, hence referred to as VIRAL (visual-inertial-ranging-lidar) SLAM. To achieve such a comprehensive sensor fusion system, one has to tackle several challenges such as data synchronization, multi-threading programming, bundle adjustment (BA), and conflicting coordinate frames between UWB and the onboard sensors, so as to ensure real-time localization and smooth updates in the state estimates. To this end, we propose a two stage approach. In the first stage, lidar, camera, and IMU data on a local sliding window are processed in a core odometry thread. From this local graph, new key frames are evaluated for admission to a global map. Visual feature-based loop closure is also performed to supplement the global factor graph with loop constraints. When the global factor graph satisfies a condition on spatial diversity, the BA process will be triggered to update the coordinate transform between UWB and onboard SLAM systems. The system then seamlessly transitions to the second stage where all sensors are tightly integrated in the odometry thread. The capability of our system is demonstrated via several experiments on high-fidelity graphical-physical simulation and public datasets.

研究动机与目标

• 通过结合互补的传感模态（IMU、相机、激光雷达、UWB）来推动鲁棒、实时的定位。
• 解决跨传感坐标系和同步问题，以实现紧耦合融合。
• 构建一个两阶段框架，包含局部里程计和全局优化（包括回环检测与 BA）。
• 引入基于激光雷达地图的视觉特征的地图匹配边缘化方案。
• 展示在真实世界和仿真数据集上的精度与鲁棒性。

提出的方法

• 两阶段 VIRAL 框架：一个在滑窗上运行的局部里程计线程，以及一个全局 BA 线程。
• 全局位姿图，存储边缘化的关键帧并估计 L-W 坐标变换和 UWB 测距偏差。
• 同步方案，将多传感器激光雷达、IMU、UWB 数据束和立体相机数据对齐，以进行联合优化。
• 将视觉特征通过 MMM（地图匹配边缘化）边缘化到本地基于激光雷达的地图上。
• UWB 集成，将锚点坐标估计（在世界坐标系 W 中）与机器人状态优化解耦，并在 BA 中更新这些参数。
• 通过滑窗上的多传感成本函数进行联合优化，包含 IMU、激光雷达、UWB 和视觉观测，并采用鲁棒损失函数。

实验结果

研究问题

• RQ1 如何在实时 SLAM 系统中将 IMU、立体相机、激光雷达和 UWB 测距紧凑地集成？
• RQ2 UWB 锚点应如何初始化并融合，以提供全局定位，同时保持局部 SLAM 的一致性？
• RQ3 在不影响实时性能的前提下，融合多台激光雷达、IMU、相机和 UWB 数据需要何种同步策略？
• RQ4 如何在多传感 SLAM 环境中检测并细化回环，以及 BA 如何处理跨传感器变换？
• RQ5 在纹理不足、光照变化较大的挑战环境中，与相机-IMU 或仅激光雷达基线相比，包含 UWB 和多传感雷达对定位精度的影响如何？

主要发现

• 演示了 IMU、相机、激光雷达与 UWB 紧耦合融合下的实时定位。
• 引入一个两阶段过程，在获得足够的空间多样性后，在 BA 中对 UWB 锚点变换进行细化。
• 显示以视觉场景识别驱动回环，随后进行两阶段点云对齐以增强全局一致性。
• 提出一种鲁棒的 UWB 融合策略，将锚点估计和测距偏差分离到 BA 线程，并在局部优化期间保持固定，帮助收敛。
• 在 NTU VIRAL 数据集、建筑检查数据集，以及带有真实标注的 AirSim 上进行评估，展示在低纹理和挑战性场景中的鲁棒性。