[论文解读] PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds

Jiayao Shan, Sifan Zhou+2 more|arXiv (Cornell University)|Aug 14, 2021

Video Surveillance and Tracking Methods被引用 10

一句话总结

该论文提出Point-Track-Transformer（PTT）模块，一种基于Transformer的新型架构，用于点云中的3D单目标跟踪，通过自注意力机制和位置编码对重要点进行加权，从而增强特征注意力。PTT-Net将该模块集成到P2B框架中，在KITTI数据集上实现了SOTA性能，Success和Precision指标均提升了约10%，同时保持了约40 FPS的实时推理速度。

ABSTRACT

3D single object tracking is a key issue for robotics. In this paper, we propose a transformer module called Point-Track-Transformer (PTT) for point cloud-based 3D single object tracking. PTT module contains three blocks for feature embedding, position encoding, and self-attention feature computation. Feature embedding aims to place features closer in the embedding space if they have similar semantic information. Position encoding is used to encode coordinates of point clouds into high dimension distinguishable features. Self-attention generates refined attention features by computing attention weights. Besides, we embed the PTT module into the open-source state-of-the-art method P2B to construct PTT-Net. Experiments on the KITTI dataset reveal that our PTT-Net surpasses the state-of-the-art by a noticeable margin (~10%). Additionally, PTT-Net could achieve real-time performance (~40FPS) on NVIDIA 1080Ti GPU. Our code is open-sourced for the robotics community at https://github.com/shanjiayao/PTT.

研究动机与目标

• 为解决在稀疏且无序的点云中跟踪3D目标的挑战，尤其是在低可见度或非刚性场景下。
• 通过聚焦于语义和几何上显著的点，改进3D单目标跟踪中的特征表示。
• 克服现有Siamese和RPN-based方法在空间和语义重要性基础上无法对特征进行加权的局限性。
• 通过利用Transformer的排列不变性和长距离依赖建模能力，实现端到端训练3D单目标跟踪模型，输入为点云。
• 在不依赖RGB-D数据的前提下实现实时性能，确保在不同光照条件下的鲁棒性。

提出的方法

• PTT模块由三个组件构成：特征嵌入以分组语义相似的点，可学习的位置编码以注入3D坐标信息，以及自注意力机制以根据重要性精炼特征。
• 特征嵌入将原始点特征映射到共享嵌入空间，使语义相似的点更接近，从而提升特征判别能力。
• 位置编码使用正弦函数将3D空间坐标注入点特征，使网络能够区分几何位置。
• 自注意力机制在所有点之间计算注意力权重，使网络能够动态聚焦于目标对象的关键区域。
• PTT模块被插入P2B网络架构的两个阶段，以在多级层次上精炼特征，提升检测和回归的准确性。
• 完整的PTT-Net采用端到端训练，并利用Transformer的排列不变性，有效处理无序的点云输入。

Figure 1: Exemplified illustration to show how PTT module works . Compared with the existing 3D single object tracking method, our PTT module works after calculating the similarity features, and weighs the features based on their importance to improve tracking performance.

实验结果

研究问题

• RQ1 基于Transformer的模块是否能通过聚焦显著特征而非同等对待所有点，来提升点云中3D单目标跟踪的性能？
• RQ2 在点云稀疏或遮挡的场景下，将位置编码与自注意力机制集成到点云跟踪框架中，如何影响模型的鲁棒性？
• RQ3 基于Transformer的模块是否能在保持SOTA性能的同时实现实时推理，优于现有的Siamese和RPN-based 3D SOT方法？
• RQ4 PTT模块是否能提升对非刚性物体（如行人）的跟踪性能，特别是在点云稀疏或背景点与前景点视觉相似的情况下？
• RQ5 在两阶段3D跟踪流水线中，PTT模块的最佳部署位置是什么，以最大化性能增益？

主要发现

• 在KITTI 3D跟踪基准上，PTT-Net相较于之前的SOTA方法，在Success和Precision指标上均实现了约10%的绝对提升。
• 该方法保持了实时推理速度，在单张NVIDIA 1080Ti GPU上达到约40 FPS，显著优于SC3D（1.8 FPS）和3D-SiamRPN（20.8 FPS）。
• PTT模块在稀疏场景下显著提升了跟踪鲁棒性，可在目标点数少于50个时仍成功跟踪，而P2B和SC3D则会失败。
• 视觉注意力图显示，即使前景点数量稀少或与背景视觉相似，PTT-Net也能持续聚焦于前景点，证明了其有效的特征加权能力。
• 在P2B网络的两个阶段均嵌入PTT模块可获得最佳性能，证实了多阶段精炼的优势。
• 失败案例主要源于初始帧中点数为零或极低，表明该方法的性能受限于输入数据质量，而非网络架构本身。

Figure 2: PTT module architecture. It consists of three blocks: feature embedding, position encoding, and self-attention. The whole inputs are the coordinates and their corresponding features. Feature embedding module maps input features into embedding space. In position encoding module, the k-neare