[论文解读] S3LAM: Structured Scene SLAM

Mathieu Gonzalez, Éric Marchand+2 more|arXiv (Cornell University)|Sep 15, 2021

Robotics and Sensor-Based Localization参考文献 39被引用 5

一句话总结

S3LAM 提出了一种单目 SLAM 系统，通过整合全景分割来从 RGB 图像中形成 3D 点的语义聚类，并在捆绑调整（Bundle Adjustment）过程中应用几何先验（如平面和二次曲面约束），以提升相机位姿估计和场景理解。该方法在 TUM 和 KITTI 数据集上实现了最先进水平的精度，与 ORB-SLAM2 相比，绝对轨迹误差（ATE）最高降低 15%。

ABSTRACT

We propose a new SLAM system that uses the semantic segmentation of objects and structures in the scene. Semantic information is relevant as it contains high level information which may make SLAM more accurate and robust. Our contribution is twofold: i) A new SLAM system based on ORB-SLAM2 that creates a semantic map made of clusters of points corresponding to objects instances and structures in the scene. ii) A modification of the classical Bundle Adjustment formulation to constrain each cluster using geometrical priors, which improves both camera localization and reconstruction and enables a better understanding of the scene. We evaluate our approach on sequences from several public datasets and show that it improves camera pose estimation with respect to state of the art.

研究动机与目标

• 开发一种利用物体和结构实例的语义 SLAM 系统，以实现更鲁棒和精确的相机定位。
• 通过将场景表示为带有语义标签的 3D 点聚类，提升 SLAM 的鲁棒性和可解释性。
• 将几何先验（如平面、二次曲面）整合到捆绑调整过程中，以优化相机位姿和地图结构。
• 在包括室内和大规模室外场景在内的多样化公开数据集上评估该方法，以证明其泛化能力和性能提升。

提出的方法

• 系统使用 detectron2 对 RGB 图像进行 2D 全景分割，为图像区域分配语义和实例标签。
• 从 ORB-SLAM2 的关键帧特征中三角化生成 3D 点，并按语义类别和实例进行聚类，形成语义聚类。
• 使用 RANSAC 从聚类中检测平面结构，并拟合为平面；对非平面物体应用二次曲面约束。
• 修改捆绑调整公式，将平面法向量和二次曲面参数与相机位姿和 3D 点一同优化。
• 在优化过程中融合语义和几何先验，以改善重投影误差和场景一致性。
• 该方法支持物体级和结构级约束，可生成物理上合理且语义上明确的地图。

实验结果

研究问题

• RQ1 能否有效融合 RGB 图像的语义分割与 ORB-SLAM2，以提升相机位姿估计？
• RQ2 几何先验（如平面或二次曲面约束）在复杂室内和室外场景中如何影响 SLAM 的精度和鲁棒性？
• RQ3 是否能够通过整合语义聚类和结构先验的统一优化框架，在轨迹精度上超越标准的 ORB-SLAM2？
• RQ4 该方法在多样化环境（包括大规模室外场景）中的泛化能力如何？

主要发现

• 在 TUM 序列上，S3LAM 平均将绝对轨迹误差（ATE）降低 4.7%，平均 ATE 为 12.2 mm，优于 ORB-SLAM2 的 13.9 mm。
• 在 KITTI raw 数据集上，S3LAM 实现平均 ATE 为 34.2 cm，相比 ORB-SLAM2 的 40.4 cm 提升了 15.3%。
• 在 fr1_desk 序列中，S3LAM 实现 13.2 mm ATE，优于 ORB-SLAM2（13.9 mm）以及先前使用平面或二次曲面的方法。
• 该方法实现了近乎完美的平面一致性：合并的书本聚类中，法向量夹角为 0.0°，表明结构一致性极高。
• 在 fr3_nost_text_near 序列中，S3LAM 将 ATE 从 ORB-SLAM2 的 20.3 mm 降低至 15.3 mm，证明其在复杂、杂乱场景中的有效性。
• 使用平面约束显著提升了地图质量，如对比图所示，S3LAM 地图中的地板更加平面且一致。