[论文解读] R$^3$LIVE++: A Robust, Real-time, Radiance reconstruction package with a tightly-coupled LiDAR-Inertial-Visual state Estimator

Jiarong Lin, Fu Zhang|arXiv (Cornell University)|Sep 8, 2022

Robotics and Sensor-Based Localization被引用 13

一句话总结

R3LIVE++ 提出了一种紧密耦合的激光雷达-惯性-视觉 SLAM 系统，通过融合激光雷达的几何信息与相机的光照信息，实现了实时、鲁棒的状态估计和三维辐射度图重建。该系统在定位和辐射度重建方面达到了最先进水平，通过在线曝光时间估计实现了高动态范围（HDR）成像，并在复杂环境中表现出鲁棒性能。

ABSTRACT

Simultaneous localization and mapping (SLAM) are crucial for autonomous robots (e.g., self-driving cars, autonomous drones), 3D mapping systems, and AR/VR applications. This work proposed a novel LiDAR-inertial-visual fusion framework termed R$^3$LIVE++ to achieve robust and accurate state estimation while simultaneously reconstructing the radiance map on the fly. R$^3$LIVE++ consists of a LiDAR-inertial odometry (LIO) and a visual-inertial odometry (VIO), both running in real-time. The LIO subsystem utilizes the measurements from a LiDAR for reconstructing the geometric structure (i.e., the positions of 3D points), while the VIO subsystem simultaneously recovers the radiance information of the geometric structure from the input images. R$^3$LIVE++ is developed based on R$^3$LIVE and further improves the accuracy in localization and mapping by accounting for the camera photometric calibration (e.g., non-linear response function and lens vignetting) and the online estimation of camera exposure time. We conduct more extensive experiments on both public and our private datasets to compare our proposed system against other state-of-the-art SLAM systems. Quantitative and qualitative results show that our proposed system has significant improvements over others in both accuracy and robustness. In addition, to demonstrate the extendability of our work, {we developed several applications based on our reconstructed radiance maps, such as high dynamic range (HDR) imaging, virtual environment exploration, and 3D video gaming.} Lastly, to share our findings and make contributions to the community, we make our codes, hardware design, and dataset publicly available on our Github: github.com/hku-mars/r3live

研究动机与目标

• 开发一种实时、鲁棒的 SLAM 系统，能够同时估计六自由度状态并重建高保真度的三维辐射度图。
• 通过传感器融合克服纯激光雷达 SLAM（缺乏纹理）和视觉 SLAM（对光照和无纹理场景敏感）的局限性。
• 通过在线估计相机曝光时间并最小化稀疏像素上的光度误差，提升辐射度重建精度。
• 通过重建的地图支持实际应用，如 HDR 成像、虚拟环境探索和三维游戏。
• 发布开源代码、硬件设计和数据集，以促进社区采纳与可复现性。

提出的方法

• R3LIVE++ 采用两种实时子系统的紧密耦合融合：激光雷达-惯性里程计（LIO）用于几何结构重建，视觉-惯性里程计（VIO）用于辐射度恢复。
• VIO 子系统通过最小化渲染地图点与稀疏图像像素之间的辐射度差异来估计相机位姿并减少漂移。
• 光度误差最小化实现了在线曝光时间估计，提升了辐射度精度，并支持 HDR 重建。
• 系统采用帧到地图的匹配方式并结合稀疏像素跟踪，在精度与计算负载之间取得平衡。
• 通过校准的光度模型将图像颜色投影到地图中的三维点上，逐步构建辐射度图。
• 使用 CGAL 和 openMVS 进行离线网格化与纹理化处理，支持常见 3D 格式（PLY、OBJ、PCD）。

Figure 2: The overview of our proposed system.

实验结果

研究问题

• RQ1 紧密耦合的激光雷达-惯性-视觉融合框架是否能在复杂条件下实现实时、高精度的状态估计与三维辐射度图重建？
• RQ2 与固定或预校准的曝光设置相比，在线曝光时间估计在多大程度上提升了辐射度重建精度？
• RQ3 所提出的 VIO 设计在保持实时性能的同时，能在多大程度上减少航位推算漂移？
• RQ4 在激光雷达或视觉传感器单独失效的场景下（如无纹理墙面、低光照环境），R3LIVE++ 的表现如何？
• RQ5 重建的辐射度图是否能够支持高保真度的下游应用，如 HDR 成像、VR/AR 和 3D 游戏？

主要发现

• 在 NCLT 数据集上，R3LIVE++ 在 25 个序列中整体精度高于所有对比的最先进 SLAM 系统。
• 系统在极端场景下表现出鲁棒性，例如面对单一无纹理墙面时，传统激光雷达与视觉 SLAM 通常会失效。
• 通过在线估计曝光时间，R3LIVE++ 的辐射度重建误差显著低于真实值。
• 通过融合不同曝光时间（1ms 至 10ms）渲染的图像，成功实现了 HDR 成像，输出高质量 HDR 结果。
• 重建的地图支持高保真度应用，包括 AirSim 中的汽车模拟器以及适用于移动和桌面平台的 3D 视频游戏。
• 系统的开源发布包含 GitHub 上的代码、硬件设计和数据集，支持可复现性与社区扩展。

Figure 3: The image formation process of a color camera.