[论文解读] SparseTT: Visual Tracking with Sparse Transformers

Zhihong Fu, Zehua Fu+3 more|arXiv (Cornell University)|May 8, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

SparseTT 提出了一种基于稀疏 Transformer 与目标聚焦注意力机制的孪生视觉追踪框架，通过强调搜索区域中的相关特征来提升追踪精度。该方法在 LaSOT、GOT-10k、TrackingNet 和 UAV123 上实现了最先进性能，推理速度达 40 FPS，且训练速度比 TransT 快 75%。

ABSTRACT

Transformers have been successfully applied to the visual tracking task and significantly promote tracking performance. The self-attention mechanism designed to model long-range dependencies is the key to the success of Transformers. However, self-attention lacks focusing on the most relevant information in the search regions, making it easy to be distracted by background. In this paper, we relieve this issue with a sparse attention mechanism by focusing the most relevant information in the search regions, which enables a much accurate tracking. Furthermore, we introduce a double-head predictor to boost the accuracy of foreground-background classification and regression of target bounding boxes, which further improve the tracking performance. Extensive experiments show that, without bells and whistles, our method significantly outperforms the state-of-the-art approaches on LaSOT, GOT-10k, TrackingNet, and UAV123, while running at 40 FPS. Notably, the training time of our method is reduced by 75% compared to that of TransT. The source code and models are available at https://github.com/fzh0917/SparseTT.

研究动机与目标

• 解决原始 Transformer 在视觉追踪中的局限性，即自注意力机制因全局上下文建模而过度关注背景、忽略目标。
• 在目标形变、部分遮挡和尺度变化等挑战性条件下提升追踪精度。
• 相比现有基于 Transformer 的追踪器（如 TransT），在保持或提升性能的同时减少训练时间。
• 引入双头预测器以增强前景-背景分类与边界框回归的准确性。
• 设计一种稀疏注意力机制，仅聚焦于搜索区域中最相关的特征，从而提升判别性特征表示能力。

提出的方法

• 提出一种稀疏自注意力机制，仅将注意力计算限制在搜索区域中最相关的位置，减少背景特征带来的干扰。
• 集成目标聚焦网络，动态识别并强调搜索区域中与目标对象相对应的关键特征。
• 设计一个双头预测器，包含独立的分类分支（前景 vs. 背景）与回归分支（边界框坐标），以提升预测精度。
• 构建一个孪生追踪框架，其中模板图像与搜索区域的主干特征通过稀疏 Transformer 编码器处理，生成上下文感知的表示。
• 采用可学习查询机制，使模型能够关注搜索区域中的相关特征，即使在外观发生剧烈变化时也能实现精确定位。
• 通过分类损失与回归损失的联合优化，端到端训练模型，以同时优化检测与定位性能。

实验结果

研究问题

• RQ1 在 Transformer 中引入稀疏注意力机制是否能通过聚焦于最相关的目标特征而非全局背景上下文，从而提升视觉追踪精度？
• RQ2 所提出的双头预测器在视觉追踪的分类与回归精度方面，相较于单头预测器表现如何？
• RQ3 与标准 Transformer 相比，稀疏注意力机制在多大程度上减少了训练时间，同时保持或提升追踪性能？
• RQ4 该方法在包含遮挡、形变与尺度变化等多样化挑战的多个基准上，泛化能力如何？
• RQ5 稀疏 Transformer 框架是否能在保持最先进性能的同时，实现 40 FPS 的实时推理速度？

主要发现

• SparseTT 在 LaSOT、GOT-10k、TrackingNet 和 UAV123 上均达到最先进性能，其精度与鲁棒性均优于 TransT 及其他最先进追踪器。
• 在 GOT-10k 上，SparseTT 的 AO 得分为 0.693，SR@0.5 为 0.791，SR@0.75 为 0.638，显著优于 TransT（AO: 0.671，SR@0.5: 0.768）。
• 在 UAV123 上，SparseTT 的成功率为 0.704，精度为 0.704，优于 TransT（0.691 和 0.694）及其他领先方法。
• 在 TrackingNet 上，SparseTT 取得了最高的成功率（81.7%）与归一化精度（86.6%），展现出在大规模数据上的卓越泛化能力。
• SparseTT 的训练时间减少至 TransT 的 25%，即训练速度提升 75%，同时保持或提升性能。
• SparseTT 在推理阶段达到 40 FPS，证实其具备实时部署能力且不损失精度。