[论文解读] PPFNet: Global Context Aware Local Features for Robust 3D Point Matching

Haowen Deng, Tolga Birdal+1 more|arXiv (Cornell University)|Feb 7, 2018

Robotics and Sensor-Based Localization参考文献 41被引用 56

一句话总结

PPFNet 通过结合点、法线和点对特征，学习具全局上下文感知的局部3D描述符用于点云匹配，使用 N-tuple 损失引入全局上下文，并在召回率和鲁棒性方面达到最先进水平。

ABSTRACT

We present PPFNet - Point Pair Feature NETwork for deeply learning a globally informed 3D local feature descriptor to find correspondences in unorganized point clouds. PPFNet learns local descriptors on pure geometry and is highly aware of the global context, an important cue in deep learning. Our 3D representation is computed as a collection of point-pair-features combined with the points and normals within a local vicinity. Our permutation invariant network design is inspired by PointNet and sets PPFNet to be ordering-free. As opposed to voxelization, our method is able to consume raw point clouds to exploit the full sparsity. PPFNet uses a novel $ extit{N-tuple}$ loss and architecture injecting the global information naturally into the local descriptor. It shows that context awareness also boosts the local feature representation. Qualitative and quantitative evaluations of our network suggest increased recall, improved robustness and invariance as well as a vital step in the 3D descriptor extraction performance.

研究动机与目标

• 在部分/有噪声输入下具有可重复性的鲁棒局部3D描述符的动机。
• 开发能够对原始、非结构化的点云进行操作的置换不变网络。
• 将全局上下文信息整合到局部描述符中，以提升匹配性能。
• 提出 N-tuple 损失以捕捉多对多的对应关系并指导端到端学习。
• 在真实3D数据集上展示最先进的召回率、速度和鲁棒性。

提出的方法

• 将局部几何表示为由点、法线和点对特征（PPF）组成的集合。
• 将 PointNet 扩展为多补丁全局上下文融合，其中局部补丁特征被最大池化到全局上下文并再连接回局部特征。
• 引入 N-tuple 损失，一种广义的 N 对 N 对比损失，使用对应矩阵和特征距离矩阵以在片段之间鼓励正确的补丁对应。
• 在带有随机片段对的3D片段之间的对应关系上进行训练，以学习全局信息感知的描述符。
• 用基于 RANSAC 的流程评估描述符，并在真实的 3DMatch、SUN3D、7-scenes 数据集上测量召回率。

实验结果

研究问题

• RQ1 是否能够将全局上下文有效注入到局部3D描述符中，从而在部分或有噪声的数据下改善对应关系？
• RQ2 将点对特征与原始点和法线一起引入，是否能提高判别力和对旋转的鲁棒性？
• RQ3 在3D匹配中的多对多补丁对应中，N-tuple 损失是否比传统的成对/三元组损失更有效？
• RQ4 相对于手工设计和其他基于学习的描述符，PPFNet 在召回率、对稀疏性鲁棒性和速度方面的表现如何？
• RQ5 包含全局上下文的影响有多大，相对于使用普通 PointNet 进行局部特征学习？

主要发现

• PPFNet 在 RANSAC 之前的 3DMatch 基准测试中，在平均召回率方面优于手工设计的基线。
• PPFNet 对点密度下降表现出鲁棒性，随着稀疏性增加仍保持更高的召回率。
• 将全局上下文添加到局部特征中，在训练阶段比普通 PointNet 基线提升 18%，在验证阶段提升 7%。
• 引入点对特征相对于不使用 PPF 输入带来可衡量的性能提升。
• 在相似的补丁数量下，PPFNet 实现更快的推理并相对于 3DMatch 在召回率方面具有里程碑式的优势。