[论文解读] NDT-Transformer: Large-Scale 3D Point Cloud Localisation using the Normal Distribution Transform Representation

Zhicheng Zhou, Cheng Zhao+5 more|arXiv (Cornell University)|Mar 23, 2021

Robotics and Sensor-Based Localization参考文献 28被引用 5

一句话总结

NDT-Transformer 提出了一种基于法向分布变换（NDT）表示的实时、大规模三维点云定位方法，将密集点云压缩为概率性 NDT 单元，随后采用一种新型基于 Transformer 的网络，学习融合几何与上下文特征的全局描述符。该方法实现了最先进性能，在牛津 Robotcar 基准测试中，平均 top-1 召回率提升 7.52%，top-1% 召回率提升 2.73%。

ABSTRACT

3D point cloud-based place recognition is highly demanded by autonomous driving in GPS-challenged environments and serves as an essential component (i.e. loop-closure detection) in lidar-based SLAM systems. This paper proposes a novel approach, named NDT-Transformer, for realtime and large-scale place recognition using 3D point clouds. Specifically, a 3D Normal Distribution Transform (NDT) representation is employed to condense the raw, dense 3D point cloud as probabilistic distributions (NDT cells) to provide the geometrical shape description. Then a novel NDT-Transformer network learns a global descriptor from a set of 3D NDT cell representations. Benefiting from the NDT representation and NDT-Transformer network, the learned global descriptors are enriched with both geometrical and contextual information. Finally, descriptor retrieval is achieved using a query-database for place recognition. Compared to the state-of-the-art methods, the proposed approach achieves an improvement of 7.52% on average top 1 recall and 2.73% on average top 1% recall on the Oxford Robotcar benchmark.

研究动机与目标

• 解决在 GPS 信号缺失环境下，大规模三维点云定位中的可扩展性与泛化性挑战。
• 开发一种计算高效的实时定位方法，仅依赖传感器数据，避免对 GPS 或迭代配准的依赖。
• 从三维点云中学习一种可泛化的全局描述符，同时捕捉几何结构与上下文信息。
• 将 NDT 表示与深度神经网络架构结合，支持在大规模环境中实现高效、可扩展的检索。
• 提供一种鲁棒的端到端解决方案，适用于集成到基于 NDT 的 SLAM 与蒙特卡洛定位系统中。

提出的方法

• 该方法使用三维法向分布变换（NDT）将原始密集三维点云转换为紧凑的概率性 NDT 单元表示，保留几何特征的同时降低维度。
• 每个 NDT 单元使用均值向量与协方差矩阵编码局部点云分布，形成结构化、几何感知的表示。
• 一种新型 NDT-Transformer 网络将 NDT 单元集合作为序列处理，利用自注意力机制学习具备上下文理解能力的全局描述符。
• 网络采用 T-Net 模块执行逐点变换与不确定性传播，提升对几何变化的鲁棒性。
• 通过查询-数据库检索设置实现定位：查询描述符在线计算，数据库描述符预先计算并存储，实现 O(log n) 的快速检索。
• 模型通过度量学习进行训练，以最大化同一位置描述符之间的相似性，最小化不同位置之间的相似性。

实验结果

研究问题

• RQ1 从 NDT 单元表示中学习的全局描述符是否能在大规模三维点云定位任务中超越现有方法？
• RQ2 NDT 表示在多大程度上保留了用于在未见环境中实现鲁棒定位的几何与上下文信息？
• RQ3 将 Transformer 架构与 NDT 单元结合，相比基于点或图像的基线方法，在特征学习方面有何改进？
• RQ4 几何特征（均值与协方差）与空间位置在最终描述符性能中的贡献分别是什么？
• RQ5 在仅使用离线预计算的数据库描述符而无需微调的情况下，系统是否能泛化到此前未见过的道路？

主要发现

• NDT-Transformer 在牛津 Robotcar 数据集上实现了 93.80% 的平均 top-1 召回率与 97.65% 的平均 top-1% 召回率，分别较之前最先进方法 LPD-Net 提升 7.52% 与 2.73%。
• 消融实验表明，仅使用点位置（不包含协方差）会使 top-1 召回率降低 17.87%，凸显几何不确定性在描述符学习中的重要性。
• 仅使用协方差矩阵（不包含点位置）会使 top-1 召回率降低 6.92%，表明空间结构对精确定位至关重要。
• 移除 T-Net 模块导致 top-1 召回率下降 1.98%，证明其在稳定特征学习与处理几何变化中的作用。
• 系统平均推理时间为每帧点云 0.034 秒（NDT 转换耗时 0.03 秒，Transformer 推理耗时 0.004 秒），支持实时性能。
• 该方法成功在未见过的道路（如训练数据中未包含的新路段）中实现定位，证实其对新环境具有强大的泛化能力。