[论文解读] Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras

Fangwen Shu, Jiaxuan Wang+2 more|arXiv (Cornell University)|Jul 13, 2022

Robotics and Sensor-Based Localization被引用 4

一句话总结

该论文提出 Structure PLP-SLAM，一种单目、RGB-D 和双目视觉 SLAM 系统，通过整合点、线和面实现鲁棒的相机定位与实时结构化制图。通过使用普吕克坐标表示三维线并采用自适应平面拟合，该系统在 TUM RGB-D、ICL-NUIM 和 EuRoC 数据集上实现了最先进的轨迹精度，优于现有方法，在精度和语义地图质量方面表现更优。

ABSTRACT

This paper presents a visual SLAM system that uses both points and lines for robust camera localization, and simultaneously performs a piece-wise planar reconstruction (PPR) of the environment to provide a structural map in real-time. One of the biggest challenges in parallel tracking and mapping with a monocular camera is to keep the scale consistent when reconstructing the geometric primitives. This further introduces difficulties in graph optimization of the bundle adjustment (BA) step. We solve these problems by proposing several run-time optimizations on the reconstructed lines and planes. Our system is able to run with depth and stereo sensors in addition to the monocular setting. Our proposed SLAM tightly incorporates the semantic and geometric features to boost both frontend pose tracking and backend map optimization. We evaluate our system exhaustively on various datasets, and show that we outperform state-of-the-art methods in terms of trajectory precision. The code of PLP-SLAM has been made available in open-source for the research community (https://github.com/PeterFWS/Structure-PLP-SLAM).

研究动机与目标

• 通过整合更高级别的几何特征，解决单目 SLAM 中的尺度模糊性与不一致的几何优化问题。
• 通过结合点、线和面，提升在低纹理和光照变化条件下的相机定位鲁棒性。
• 在无需强假设（如曼哈顿世界）的前提下，实现单目 SLAM 中的实时、分段式平面重建。
• 开发一种与传感器无关的 SLAM 框架，支持单目、RGB-D 和双目输入。
• 基于预先构建的点-线地图，开发重定位模块，实现跟踪失败后的鲁棒恢复。

提出的方法

• 使用普吕克坐标表示三维线，实现最小且无歧义的参数化，同时保留端点表示以用于可视化和对应关系搜索。
• 采用基于 CNN 的实例平面分割网络生成初始平面先验，随后通过基于 RANSAC 的图优化实现鲁棒的三维平面拟合。
• 在 OpenVSLAM 的基础上实现模块化、多特征 SLAM 流水线，扩展 ORB-SLAM2，通过捆绑调整联合优化点、线和面。
• 在 RANSAC 中应用自适应阈值，降低对噪声的敏感性，提升平面拟合的可靠性，且无需强假设。
• 利用预先构建的点-线地图实现回环检测与重定位，通过仅运动优化的光束法平差（BA）利用三维到二维的点和线对应关系进行位姿优化。
• 采用地图精炼模块，仅保留高质量平面，提升地图一致性并减少噪声传播。

Figure 1: The proposed SLAM system utilizes point and line cloud for robust camera localization, with piece-wise planar reconstruction for semantic mapping. Here, the reconstructed maps are presented selectively for better visualization.

实验结果

研究问题

• RQ1 将线和面与点结合，是否能显著提升在复杂视觉条件下相机定位的鲁棒性？
• RQ2 在基于图的 SLAM 框架中，如何高效表示并优化三维线，同时避免过度参数化？
• RQ3 在单目 SLAM 中，是否能无需依赖曼哈顿世界等强几何假设，实现鲁棒的实时分段式平面重建？
• RQ4 与仅使用点的方法相比，使用预先构建的点-线地图是否能显著提升重定位性能？
• RQ5 所提出的系统在多种传感器模态和数据集上，与当前最先进的 SLAM 系统相比，其定量性能如何？

主要发现

• 在 TUM RGB-D 数据集中，Structure PLP-SLAM 在完整点-线-面融合下实现了 1.87 cm 的平均 ATE RMSE，优于 SP-SLAM（1.51 cm）和 Manhattan SLAM（2.81 cm）。
• 在 ICL-NUIM 数据集中，系统在点-线-面融合下实现了 1.34 cm 的平均 ATE RMSE，轨迹精度优于次优方法（1.77 cm）。
• 在单张图像定位评估中，使用点和线的重定位模块相比仅使用点的优化，将绝对位姿误差（APE）降低了最多 30%。
• 由于在定位与制图中互补使用线和面，系统在各类场景（包括低纹理环境）中均表现出鲁棒性能。
• 地图精炼模块成功过滤了低质量与小尺寸平面，提升了地图一致性并减少了噪声传播，但也在极低纹理场景中限制了平面重建。
• 在 GitHub 上开源代码，支持可复现性，并推动基于多特征融合的语义 SLAM 领域的进一步研究。

(a) Endpoints representation.