[论文解读] R2LIVE: A Robust, Real-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping

Jiarong Lin, Chunran Zheng+2 more|arXiv (Cornell University)|Feb 24, 2021

Robotics and Sensor-Based Localization参考文献 26被引用 9

一句话总结

R2LIVE 提出了一种实时、紧密耦合的激光雷达-惯性-视觉状态估计算法，通过误差状态迭代扩展卡尔曼滤波融合激光雷达、惯性测量单元（IMU）和相机传感器数据，实现实时里程计计算，并利用因子图优化进行地图精炼。在300米序列中，其旋转误差低于0.3°，平移误差低于0.25%，在特征匮乏、动态性强且大规模的环境中展现出高精度与强鲁棒性。

ABSTRACT

In this letter, we propose a robust, real-time tightly-coupled multi-sensor fusion framework, which fuses measurement from LiDAR, inertial sensor, and visual camera to achieve robust and accurate state estimation. Our proposed framework is composed of two parts: the filter-based odometry and factor graph optimization. To guarantee real-time performance, we estimate the state within the framework of error-state iterated Kalman-filter, and further improve the overall precision with our factor graph optimization. Taking advantage of measurement from all individual sensors, our algorithm is robust enough to various visual failure, LiDAR-degenerated scenarios, and is able to run in real-time on an on-board computation platform, as shown by extensive experiments conducted in indoor, outdoor, and mixed environment of different scale. Moreover, the results show that our proposed framework can improve the accuracy of state-of-the-art LiDAR-inertial or visual-inertial odometry. To share our findings and to make contributions to the community, we open source our codes on our Github.

研究动机与目标

• 解决纯激光雷达SLAM在特征匮乏或退化环境（如狭窄隧道或低纹理区域）中的局限性。
• 通过紧密融合激光雷达、惯性传感器和视觉相机的测量数据，提升状态估计的鲁棒性与精度。
• 在嵌入式平台上实现实时性能，同时保持高精度定位与建图能力。
• 在无需显式回环检测机制的情况下，实现大规模、高密度三维建图，并保持极低漂移。

提出的方法

• 系统采用高采样率的误差状态迭代扩展卡尔曼滤波（ESIKF），对激光雷达、惯性与视觉测量数据进行紧密耦合，实现实时状态估计。
• 一个独立的低采样率因子图优化模块通过在滑动窗口内优化关键帧位姿与视觉特征点位置，对局部地图进行精炼。
• 激光雷达-惯性里程计组件采用一种新型的卡尔曼增益计算方法，使计算复杂度与状态维度成比例，而非与测量维度成比例。
• 视觉特征通过视觉-惯性里程计模块提取并跟踪，该模块在ESIKF框架中与激光雷达和IMU数据实现紧密耦合。
• 系统同时利用激光雷达提取的几何特征（如边缘、平面）与稀疏视觉特征，以增强在传感器失效或运动挑战下的鲁棒性。
• 因子图优化在独立线程中运行，采样频率低于主滤波器，从而在精度与计算负载之间实现平衡。

Figure 1: We use our proposed method to reconstruct a high precision, large scale, indoor-outdoor, dense 3D maps of the main building of the University of Hong Kong (HKU). The green path is the computed trajectory and the 3D points are colored by height.

实验结果

研究问题

• RQ1 紧密耦合激光雷达、惯性与视觉传感器是否能显著提升在几何特征稀少或传感器退化环境下的系统鲁棒性？
• RQ2 基于误差状态迭代扩展卡尔曼滤波的滤波式里程计系统，在嵌入式平台上能否在保持高精度的同时实现实时性能？
• RQ3 该系统在具有复杂动态与移动物体的大规模室内外环境中表现如何？
• RQ4 系统是否能在不依赖显式回环检测或后处理的情况下实现回环闭合与高精度建图？
• RQ5 在剧烈运动与传感器故障条件下，与当前最先进的激光雷达-惯性或视觉-惯性系统相比，该系统在定位精度上实现了多大程度的定量提升？

主要发现

• 在一条300米长的室外轨迹中，系统在高达130°/s的角速度下仍保持稳定，中位相对位姿误差为0.27°（旋转）与0.21%（平移），优于Vins-Mono与Fast-LIO。
• 系统成功重建了香港大学主楼（室内外）的高精度、高密度三维地图，点云与官方街道路线图高度对齐。
• 在未进行任何显式回环处理的情况下，系统在行进876米后成功实现回环闭合，表明其在长期运行中具有极低的漂移。
• 系统在桌面平台（Intel i7-9700K）与嵌入式平台（Intel i7-8550U）上均实现了实时性能，平均里程计处理时间分别为15.98ms与24.37ms。
• 在具有移动行人与有限激光雷达视场的隧道类环境中，系统保持了鲁棒性与稳定性，即使在视觉与激光雷达面临挑战时仍能维持精确的状态估计。
• 因子图优化显著提升了地图精度，表现为与卫星图像对齐更紧密，且在长序列中轨迹漂移明显减少。

Figure 2: The overview of our proposed method.