[论文解读] PLVS: A SLAM System with Points, Lines, Volumetric Mapping, and 3D Incremental Segmentation

Luigi Freda|arXiv (Cornell University)|Sep 19, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

PLVS 是一种实时、开源的 SLAM 系统，结合了稀疏关键点与关键线段跟踪、体素映射以及 RGB-D 和双目相机的 3D 递增分割。它提出了一种新颖的深度感知重投影误差用于线段，并实现了基于几何的无监督体素地图分割，可在 CPU 上实现对小型机器人平台的鲁棒、稠密 3D 重建。

ABSTRACT

This document presents PLVS: a real-time system that leverages sparse SLAM, volumetric mapping, and 3D unsupervised incremental segmentation. PLVS stands for Points, Lines, Volumetric mapping, and Segmentation. It supports RGB-D and Stereo cameras, which may be optionally equipped with IMUs. The SLAM module is keyframe-based, and extracts and tracks sparse points and line segments as features. Volumetric mapping runs in parallel with respect to the SLAM front-end and generates a 3D reconstruction of the explored environment by fusing point clouds backprojected from keyframes. Different volumetric mapping methods are supported and integrated in PLVS. We use a novel reprojection error to bundle-adjust line segments. This error exploits available depth information to stabilize the position estimates of line segment endpoints. An incremental and geometric-based segmentation method is implemented and integrated for RGB-D cameras in the PLVS framework. We present qualitative and quantitative evaluations of the PLVS framework on some publicly available datasets. The appendix details the adopted stereo line triangulation method and provides a derivation of the Jacobians we used for line error terms. The software is available as open-source.

研究动机与目标

• 开发一种在资源受限的机器人平台上支持稠密 3D 重建的鲁棒、实时 SLAM 系统。
• 将稀疏 SLAM 与体素映射及递增 3D 分割相结合，以提升环境理解能力。
• 通过引入利用深度信息稳定端点估计的深度感知重投影误差，提升线段跟踪的精度。
• 利用 RGB-D 数据中的线段特征，实现基于几何的无监督体素地图 3D 分割。
• 确保全 CPU 运行，同时支持可选的 GPU 加速用于关键点提取，以最大化在小型机器人上的可移植性。

提出的方法

• PLVS 在 ORB-SLAM2 和 ORB-SLAM3 的基础上扩展，实现关键点与关键线段的联合跟踪，采用基于关键帧的架构进行相机定位与地图构建。
• 提出一种新颖的 3D 线段重投影误差，通过引入深度信息以稳定端点位置估计，从而在 bundle adjustment 中提升鲁棒性。
• 通过多种方法将关键帧的反投影点云融合到体素地图中：八叉树、octomap 以及基于截断符号距离场（TSDF）的空间哈希体素。
• 采用一种递增的、无监督的分割方法，基于检测到的线段几何特征对体素地图进行处理，实现动态场景理解。
• 通过在全局 SLAM 优化（如回环检测）后重新构建或调整体素地图，确保稀疏地图与体素地图之间的一致性。
• 所有组件均模块化且可配置，允许用户在地图分辨率与精度和 CPU 负载之间进行权衡。

实验结果

研究问题

• RQ1 如何利用深度信息改进 SLAM 中的线段跟踪，以提升 3D 重建精度？
• RQ2 体素映射在多大程度上能与稀疏 SLAM 有效集成，以生成一致且稠密的 3D 地图？
• RQ3 基于几何特征的递增式、无监督分割方法是否能在实时条件下产生有意义的物体级场景理解？
• RQ4 在仅使用 CPU 的平台上，点、线与体素数据的融合如何提升实时 SLAM 的鲁棒性与精度？
• RQ5 在系统中启用或禁用特定组件时，地图质量与计算负载之间的性能权衡如何？

主要发现

• PLVS 在 CPU 上实现了实时性能，使其适用于无需专用 GPU 硬件的小型机器人平台部署。
• 所提出的线段深度感知重投影误差通过在 bundle adjustment 中利用深度信息，显著提升了端点稳定性与跟踪精度。
• 系统支持多种体素映射方法——八叉树、octomap 以及基于 TSDF 的空间哈希，提供了在地图分辨率与内存使用之间的灵活性。
• 递增式、基于几何的分割方法成功利用 RGB-D 数据中的线段特征，识别并分离出 3D 地图中的平面与结构元素。
• 通过与 SLAM 全局优化同步，框架确保了稀疏地图与体素地图之间的一致性，从而保证了准确且连贯的重建结果。
• GitHub 上的开源实现支持可复现性与社区扩展，兼容 RGB-D 和双目相机，包括配备 IMU 的系统。