[论文解读] Separable Self and Mixed Attention Transformers for Efficient Object Tracking

Goutam Yelluru Gopal, Maria A. Amer|arXiv (Cornell University)|Sep 7, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出SMAT，一种轻量级视觉目标跟踪器，通过在主干网络中引入可分离混合注意力、在头部模块中引入可分离自注意力，实现高效且高精度的跟踪。通过可分离混合注意力融合模板与搜索区域特征，并利用高效的自注意力建模长距离依赖关系，SMAT在CPU上实现37 fps、在GPU上实现158 fps，参数量仅380万，优于六项基准测试中的最先进轻量级跟踪器，其中在GOT10k-test上的AO指标提升7.9%。

ABSTRACT

The deployment of transformers for visual object tracking has shown state-of-the-art results on several benchmarks. However, the transformer-based models are under-utilized for Siamese lightweight tracking due to the computational complexity of their attention blocks. This paper proposes an efficient self and mixed attention transformer-based architecture for lightweight tracking. The proposed backbone utilizes the separable mixed attention transformers to fuse the template and search regions during feature extraction to generate superior feature encoding. Our prediction head performs global contextual modeling of the encoded features by leveraging efficient self-attention blocks for robust target state estimation. With these contributions, the proposed lightweight tracker deploys a transformer-based backbone and head module concurrently for the first time. Our ablation study testifies to the effectiveness of the proposed combination of backbone and head modules. Simulations show that our Separable Self and Mixed Attention-based Tracker, SMAT, surpasses the performance of related lightweight trackers on GOT10k, TrackingNet, LaSOT, NfS30, UAV123, and AVisT datasets, while running at 37 fps on CPU, 158 fps on GPU, and having 3.8M parameters. For example, it significantly surpasses the closely related trackers E.T.Track and MixFormerV2-S on GOT10k-test by a margin of 7.9% and 5.8%, respectively, in the AO metric. The tracker code and model is available at https://github.com/goutamyg/SMAT

研究动机与目标

• 为解决标准Transformer-based跟踪器在CPU等资源受限环境中的计算效率低下问题。
• 实现在轻量级Siamese跟踪中，主干网络与头部模块均采用Transformer建模。
• 通过可分离混合注意力提升模板与搜索区域之间的特征融合，以增强表征学习能力。
• 在保持CPU上≥30 fps实时推理速度的同时，实现轻量级跟踪的SOTA精度。
• 证明可分离注意力机制可有效替代Transformer中的标准注意力，且不损失性能。

提出的方法

• 主干网络采用CNN-ViT混合架构，引入可分离混合注意力模块，联合提取并融合模板与搜索区域的特征。
• 可分离混合注意力通过将标准矩阵乘法替换为逐元素运算，降低跨模态特征融合的计算成本。
• 预测头部采用可分离自注意力模块，对融合后的特征建模长距离依赖关系，以实现精准目标定位。
• 首次在轻量级跟踪器中集成基于Transformer的主干与头部模块。
• 模型采用标准跟踪损失函数进行端到端训练，推理阶段针对CPU部署进行优化。
• 消融实验验证了可分离注意力机制及主干-头部联合设计的有效性。

Figure 1 : Proposed SMAT architecture. The separable mixed attention Vision Transformer-based backbone jointly performs feature extraction and fusion of template and search regions. The separable transformer-based head models long-range dependencies within the fused features to predict accurate boun

实验结果

研究问题

• RQ1 可分离混合注意力能否在保持特征融合质量的前提下，有效替代主干中的标准混合注意力以降低计算成本？
• RQ2 头部模块中的可分离自注意力能否在轻量级跟踪中实现与卷积头部相当或更优的性能？
• RQ3 在轻量级跟踪器中结合基于Transformer的主干与头部模块，是否能在不牺牲实时速度的前提下提升精度？
• RQ4 在多样化的基准测试中，所提出的SMAT相较于SOTA轻量级跟踪器在精度与推理速度方面表现如何？
• RQ5 主干网络中的特征融合对遮挡、光照变化、形变等挑战性属性的鲁棒性有何影响？

主要发现

• SMAT在CPU上实现37 fps、GPU上实现158 fps，证明其在资源受限硬件上具备实时性能，且仅使用380万参数。
• 在GOT10k-test上，SMAT在AO指标上分别较E.T.Track和MixFormerV2-S提升7.9%与5.8%。
• 在LaSOT上，SMAT在14项属性中的8项达到最佳表现，5项位列第二，光照变化属性的AUC较MixFormerV2-S高出4.3%。
• SMAT在部分遮挡（较次优模型AUC高3.2%）与背景杂波（AUC高2.7%）方面表现出显著鲁棒性提升。
• 注意力可视化结果表明，即使在部分遮挡情况下，模型仍能聚焦于相关视觉线索，从而提升定位精度。
• 消融实验确认，主干中使用可分离混合注意力与头部中使用可分离自注意力的组合，可实现更优的精度-速度权衡。

Figure 2 : Proposed Separable Mixed Attention ViT block. The qkv-proj denotes the set of three $1\times 1$ convolutional filters to generate the Query , Key , and Value for attention computation. The mixed attention output is passed through a $1\times 1$ convolutional ffn-out block to generate the o