[论文解读] TransLoc3D : Point Cloud based Large-scale Place Recognition using Adaptive Receptive Fields

Tian-Xing Xu, Yuan-Chen Guo+4 more|arXiv (Cornell University)|May 25, 2021

Remote Sensing and LiDAR Applications参考文献 55被引用 10

一句话总结

TransLoc3D 提出了一种基于3D点云的新型场景识别方法，通过使用基于点的重加权机制的自适应感受野来处理物体尺寸变化并抑制噪声，同时结合外部Transformer模块以捕捉长距离上下文依赖关系。该方法通过尺寸感知的特征融合与全局上下文建模，显著提升了全局描述符的判别能力，在Oxford RobotCar、B.D.、U.S.和R.A.等基准数据集上实现了最先进性能。

ABSTRACT

Place recognition plays an essential role in the field of autonomous driving and robot navigation. Point cloud based methods mainly focus on extracting global descriptors from local features of point clouds. Despite having achieved promising results, existing solutions neglect the following aspects, which may cause performance degradation: (1) huge size difference between objects in outdoor scenes; (2) moving objects that are unrelated to place recognition; (3) long-range contextual information. We illustrate that the above aspects bring challenges to extracting discriminative global descriptors. To mitigate these problems, we propose a novel method named TransLoc3D, utilizing adaptive receptive fields with a point-wise reweighting scheme to handle objects of different sizes while suppressing noises, and an external transformer to capture long-range feature dependencies. As opposed to existing architectures which adopt fixed and limited receptive fields, our method benefits from size-adaptive receptive fields as well as global contextual information, and outperforms current state-of-the-arts with significant improvements on popular datasets.

研究动机与目标

• 为解决固定感受野在处理户外3D场景中物体尺寸大幅变化时的局限性。
• 抑制行人等移动物体带来的无关特征，以降低特征质量退化。
• 通过捕捉点云中的长距离上下文依赖关系，增强全局描述符的表征能力。
• 提升复杂环境中大规模场景识别的全局描述符判别能力。
• 开发一种鲁棒的网络架构，在标准基准测试中优于现有方法。

提出的方法

• 该方法采用稀疏体素化与3D稀疏卷积处理原始点云，以提取低层次几何特征。
• 提出一种新型自适应感受野模块，通过学习的注意力图实现点级别的重加权，融合多尺度特征并自适应调整物体尺寸。
• 网络架构集成外部Transformer模块，以建模点云中跨区域的长距离空间依赖关系。
• 利用NetVLAD生成全局描述符，将点级别特征聚合为紧凑且具有判别性的表征。
• 网络使用两层3D稀疏卷积：第一层采用5×5×5卷积核实现初始的大范围特征聚合，第二层采用2×2×2卷积核并设置步长为2以降低空间分辨率。
• 在每个卷积层后应用批量归一化与ReLU，以稳定训练过程并增强非线性表达能力。

实验结果

研究问题

• RQ1 自适应感受野是否能在物体尺寸大幅变化的点云场景识别中提升特征表征能力？
• RQ2 多尺度特征的点级别重加权在应对移动物体引起的噪声时，是否能提升模型鲁棒性？
• RQ3 外部Transformer模块在建模长距离依赖关系方面，能在多大程度上提升全局描述符的质量？
• RQ4 将自适应感受野与Transformer架构结合，是否能优于固定感受野或非Transformer基线方法？
• RQ5 空洞卷积是否适用于3D点云处理中的稀疏特征图，还是会导致性能下降？

主要发现

• TransLoc3D在Oxford RobotCar、B.D.、U.S.和R.A.四个主要基准数据集上均实现了最先进平均召回率。
• 消融实验表明，空洞卷积在稀疏特征图上会降低性能，传统卷积在特征聚合方面表现更优。
• 包含六层注意力机制的外部Transformer模块达到最优性能，进一步增加层数仅带来边际提升，表明对超参数选择具有鲁棒性。
• 定性可视化结果表明，即使在遮挡与视角变化等挑战性条件下，TransLoc3D仍能正确检索匹配样本。
• 点级别重加权机制能有效抑制无关移动物体带来的噪声，同时增强显著结构元素的特征响应。
• 自适应感受野机制成功捕捉了小物体的精细细节与大物体的完整结构，从而提升了描述符的判别能力。