[论文解读] Semantic Graph Based Place Recognition for 3D Point Clouds

Xin Kong, Xuemeng Yang+7 more|arXiv (Cornell University)|Aug 26, 2020

Robotics and Sensor-Based Localization参考文献 39被引用 6

一句话总结

本文提出一种基于语义图的3D点云场景识别方法，通过建模语义物体及其拓扑关系来表现场景，从而在遮挡和视角变化下实现鲁棒性能。通过利用可学习的图相似性网络，该方法在KITTI数据集上实现了最先进（SOTA）的准确率，尤其在反向回环检测方面表现优异。

ABSTRACT

Due to the difficulty in generating the effective descriptors which are robust to occlusion and viewpoint changes, place recognition for 3D point cloud remains an open issue. Unlike most of the existing methods that focus on extracting local, global, and statistical features of raw point clouds, our method aims at the semantic level that can be superior in terms of robustness to environmental changes. Inspired by the perspective of humans, who recognize scenes through identifying semantic objects and capturing their relations, this paper presents a novel semantic graph based approach for place recognition. First, we propose a novel semantic graph representation for the point cloud scenes by reserving the semantic and topological information of the raw point cloud. Thus, place recognition is modeled as a graph matching problem. Then we design a fast and effective graph similarity network to compute the similarity. Exhaustive evaluations on the KITTI dataset show that our approach is robust to the occlusion as well as viewpoint changes and outperforms the state-of-the-art methods with a large margin. Our code is available at: \url{https://github.com/kxhit/SG_PR}.

研究动机与目标

• 解决在遮挡和视角变化等环境变化下，3D点云中鲁棒场景识别的挑战。
• 克服现有方法依赖低层次几何或统计特征、对噪声和变换敏感的局限性。
• 通过捕捉物体语义及其空间关系，在语义层面建模场景，模拟人类对场景的感知方式。
• 设计一种高效、可学习的图相似性网络，用于计算场景间的匹配分数，而无需依赖手工设计的距离度量。
• 实现实时性能，适用于机器人和自动驾驶系统中的部署。

提出的方法

• 首先通过语义分割识别物体实例，从原始点云中构建语义图表示。
• 将每个语义实例表示为图中的一个节点，编码其语义标签和几何特征（例如，质心、尺寸）。
• 基于空间邻近性和相对朝向建立节点之间的拓扑关系，以建模场景结构。
• 设计一种图相似性网络，通过节点级嵌入、图级嵌入以及图与图之间的交互计算相似性分数。
• 采用具有全连接层和注意力机制的可学习架构，优先关注相关节点和关系，提升对缺失或噪声数据的鲁棒性。
• 使用对比损失端到端训练网络，以优化正样本对（相同位置）和负样本对（不同位置）的相似性分数。

实验结果

研究问题

• RQ1 通过语义物体及其拓扑关系建模3D场景，是否能提升在遮挡和视角变化下的场景识别鲁棒性？
• RQ2 可学习的图相似性网络相较于传统的基于特征距离的方法，在准确率和泛化能力方面表现如何？
• RQ3 在复杂条件下，语义级表示在多大程度上优于基于局部或全局几何描述子的方法？
• RQ4 所提方法是否能在反向回环检测中实现高性能，即视角几乎相反的情况？
• RQ5 在实时机器人应用中，该图基方法在推理速度和内存使用方面效率如何？

主要发现

• 所提方法在KITTI里程计数据集上实现了最先进性能，尤其在反向回环检测中显著优于现有方法。
• 在30°遮挡条件下，该方法性能下降最小，mAP仅下降2.1%，显著优于M2DP（下降14.3%）和PointNetVLAD（下降10.5%）。
• 对于视角变化，由于图表示中语义和拓扑关系具有旋转不变性，方法保持了高准确率。
• 在KITTI00数据集上，图相似性网络在3 m阈值下的平均平均精度（mAP）达到94.7%，在10 m阈值下仍保持超过90%的mAP。
• 在RTX 2080 Ti上，每帧推理仅需9 ms，GPU显存占用2820 MB，支持在机器人系统中实现实时部署。
• 定性可视化结果表明，相似性分数在邻近场景中最高，且定位结果准确落在参考帧附近。