[论文解读] P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds

Haozhe Qi, Feng Chen+3 more|arXiv (Cornell University)|May 28, 2020

Video Surveillance and Tracking Methods参考文献 40被引用 5

一句话总结

P2B 提出了一种用于点云中3D目标追踪的端到端点到框网络，通过基于种子的特征增强和霍夫投票来定位目标中心，并联合执行3D候选框生成与验证。在 KITTI 数据集上，其成功率和精确度比最先进方法高出约10%，在单张 1080Ti GPU 上运行速度达 45.5 FPS。

ABSTRACT

Towards 3D object tracking in point clouds, a novel point-to-box network termed P2B is proposed in an end-to-end learning manner. Our main idea is to first localize potential target centers in 3D search area embedded with target information. Then point-driven 3D target proposal and verification are executed jointly. In this way, the time-consuming 3D exhaustive search can be avoided. Specifically, we first sample seeds from the point clouds in template and search area respectively. Then, we execute permutation-invariant feature augmentation to embed target clues from template into search area seeds and represent them with target-specific features. Consequently, the augmented search area seeds regress the potential target centers via Hough voting. The centers are further strengthened with seed-wise targetness scores. Finally, each center clusters its neighbors to leverage the ensemble power for joint 3D target proposal and verification. We apply PointNet++ as our backbone and experiments on KITTI tracking dataset demonstrate P2B's superiority (~10%'s improvement over state-of-the-art). Note that P2B can run with 40FPS on a single NVIDIA 1080Ti GPU. Our code and model are available at https://github.com/HaozheQi/P2B.

研究动机与目标

• 仅使用几何数据，不依赖RGB-D输入，解决在稀疏且无序点云中的3D目标追踪挑战。
• 克服现有方法在非端到端流水线、全量3D搜索或单维全局特征方面的局限性。
• 通过先定位潜在目标中心，再在联合框架中使用点驱动的候选框生成与验证，实现高效且精确的追踪。
• 通过在预测中心周围对邻近点进行集成聚类，提升对遮挡和稀疏性的鲁棒性。

提出的方法

• 从模板区域和搜索区域的点云中采样种子点作为主干网络的输入。
• 应用排列不变的特征增强，利用相似性和全局特征编码，将模板中的目标特定线索嵌入到搜索区域种子点中。
• 使用霍夫投票从增强后的种子点回归潜在目标中心，投票强度由种子点级别的目标度分数引导。
• 围绕每个预测中心对邻近点进行聚类，形成鲁棒的3D候选框，并利用集成特征执行联合验证。
• 采用改进的 PointNet++ 主干网络，在保持种子点排列不变性的同时提取分层特征。
• 端到端训练整个网络，以同时优化中心回归与目标度预测。

实验结果

研究问题

• RQ1 基于点的端到端学习框架是否能超越依赖全量搜索或不可微组件的现有3D追踪方法？
• RQ2 利用相似性和全局特征进行目标特定的特征增强，是否能提升在稀疏点云中的定位精度？
• RQ3 通过在预测中心周围聚类实现的联合3D候选框生成与验证，是否能增强对遮挡和噪声的鲁棒性？
• RQ4 该方法是否能在保持高推理速度的同时，实现优于先前最先进方法的精度？
• RQ5 当仅使用点云时，模板质量如何影响追踪性能？

主要发现

• P2B 在 KITTI 跟踪基准上相较之前最先进方法 SC3D 实现了10%的相对性能提升，成功率与精确度均显著提高。
• 该方法在单张 NVIDIA 1080Ti GPU 上运行速度达 45.5 FPS，远超 SC3D 在相同条件下的 1.8 FPS。
• P2B 在稀疏点云场景下表现更优，即使 SC3D 失败或发散，仍能保持紧密追踪。
• 当初始模板包含的有用点过少时，模型性能会下降，表明其对模板质量较为敏感。
• 结合局部相似性与全局模板特征的特征增强，显著提升了判别能力，表现为真实目标种子点的目标度分数较高。
• 在预测中心周围对邻近点进行聚类，可提升候选框质量，并实现对遮挡情况下的鲁棒联合验证。