[论文解读] SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition

Yan Xia, Yusheng Xu+5 more|arXiv (Cornell University)|Nov 24, 2020

Robotics and Sensor-Based Localization参考文献 38被引用 14

一句话总结

SOE-Net 是一种用于基于 3D 点云的场景识别的新型端到端深度学习框架，通过引入面向方向的局部特征编码模块 PointOE 和自注意力单元，实现对局部描述符之间长距离依赖关系的建模。该方法采用一种新型的 HPHN 四元损失函数，实现了更优的度量学习，在 Oxford RobotCar 数据集上实现了 89.37% 的 top-1 召回率，达到当前最先进性能。

ABSTRACT

We tackle the problem of place recognition from point cloud data and introduce a self-attention and orientation encoding network (SOE-Net) that fully explores the relationship between points and incorporates long-range context into point-wise local descriptors. Local information of each point from eight orientations is captured in a PointOE module, whereas long-range feature dependencies among local descriptors are captured with a self-attention unit. Moreover, we propose a novel loss function called Hard Positive Hard Negative quadruplet loss (HPHN quadruplet), that achieves better performance than the commonly used metric learning loss. Experiments on various benchmark datasets demonstrate superior performance of the proposed network over the current state-of-the-art approaches. Our code is released publicly at https://github.com/Yan-Xia/SOE-Net.

研究动机与目标

• 为解决大规模 3D 点云场景识别中鲁棒且具有区分性的全局描述符学习挑战。
• 通过建模每个点与其邻点之间的几何关系，提升局部特征表示能力。
• 捕捉局部描述符之间的长距离上下文依赖关系，以改善全局描述符聚合。
• 设计一种更有效的度量学习损失函数，以更好地区分大规模检索中的正样本对与负样本对。
• 实现从原始 3D 点云端到端训练，生成紧凑且具有区分性的全局描述符。

提出的方法

• 提出 PointOE 模块，从每个点周围八个不同方向编码局部几何特征，以捕捉多方向的邻域上下文信息。
• 采用自注意力单元，根据其空间关系动态加权局部描述符，从而在特征空间中建模长距离依赖关系。
• 在端到端网络架构中结合 PointOE 与自注意力机制，实现局部特征提取与全局描述符聚合的联合优化。
• 提出一种新型 HPHN 四元损失函数，通过最大化困难正样本对之间的距离，同时最小化困难负样本对之间的距离，从而提升泛化能力。
• 采用多阶段训练流程，结合 HPHN 四元损失函数，优化用于检索任务的全局描述符。
• 采用基于 PointNet 的主干网络，结合多层感知机进行初始局部特征学习，并通过方向编码与注意力机制进一步增强特征表示。

实验结果

研究问题

• RQ1 面向方向的局部特征编码是否能提升 3D 点云描述符的区分能力？
• RQ2 自注意力机制是否能有效建模局部描述符之间的长距离依赖关系，从而提升全局描述符质量？
• RQ3 所提出的 HPHN 四元损失函数是否相比标准度量学习损失函数能带来更好的泛化能力与检索性能？
• RQ4 PointOE 与自注意力机制的结合相较于 PointNetVLAD 和 PCAN 等现有架构，在大规模检索任务中表现如何？
• RQ5 在真实世界点云检索任务中，HPHN 损失函数的最优全局描述符维度与边距值分别是多少？

主要发现

• SOE-Net 在 Oxford RobotCar 数据集上实现了 89.37% 的 top-1 召回率，优于以往最先进方法。
• 与懒惰四元损失相比，HPHN 四元损失将 top-1 召回率提升了 5.17 个百分点，在 Oxford RobotCar 上达到 89.37%。
• 仅使用 PointOE 模块，top-1% 平均召回率提升 12.40%，top-1 召回率提升 21.44%，相比基线 PointNetVLAD。
• 自注意力模块贡献显著，消融实验表明，在 PointOE 模块基础上添加自注意力可使 top-1 召回率提升 1.21%。
• SOE-Net 在不同描述符维度下保持强性能，当维度从 256 降低至 128 时，性能仅下降 1%-3%。
• HPHN 四元损失的最优边距值为 0.5，边距值过高或过低均导致性能下降。