[论文解读] Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking

Ning Wang, Wengang Zhou+2 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 61被引用 52

一句话总结

本论文介绍了一种带有独立编码器和解码器分支并集成到类似 Siamese 的跟踪框架中的 transformer 架构，以传播时序上下文，从而提升 Siamese 与 DCF/DiMP 管线的性能，并在多项基准测试中达到最先进的结果。

ABSTRACT

In video object tracking, there exist rich temporal contexts among successive frames, which have been largely overlooked in existing trackers. In this work, we bridge the individual video frames and explore the temporal contexts across them via a transformer architecture for robust object tracking. Different from classic usage of the transformer in natural language processing tasks, we separate its encoder and decoder into two parallel branches and carefully design them within the Siamese-like tracking pipelines. The transformer encoder promotes the target templates via attention-based feature reinforcement, which benefits the high-quality tracking model generation. The transformer decoder propagates the tracking cues from previous templates to the current frame, which facilitates the object searching process. Our transformer-assisted tracking framework is neat and trained in an end-to-end manner. With the proposed transformer, a simple Siamese matching approach is able to outperform the current top-performing trackers. By combining our transformer with the recent discriminative tracking pipeline, our method sets several new state-of-the-art records on prevalent tracking benchmarks.

研究动机与目标

• 识别并利用视频帧之间的时序上下文以提高视觉跟踪的鲁棒性。
• 设计适用于跟踪的 Transformer，通过在类似 Siamese 的管线中分离编码器和解码器分支。
• 实现时序特征强化与线索传播，以应对遮挡、外观变化和干扰项。

提出的方法

• 在类似 Siamese 的跟踪框架内，将编码器和解码器分离为两个并行分支。
• 编码器：在多个模板上执行自注意力，生成高质量的模板特征。
• 解码器：在已编码的模板与当前搜索区域之间执行交叉注意力，以传播时序线索和掩码。
• 掩码变换：将模板掩码传播以强化搜索区域的空间注意力。
• 特征变换：通过掩码在模板向搜索区域传播目标表示，重点关注目标区域。
• 可端到端训练，使用 Siamese 或基于 DiMP 的跟踪模型；每5帧更新模板集合，最多20个模板。

实验结果

研究问题

• RQ1 如何有效建模视频帧之间的时序上下文以提升鲁棒性？
• RQ2 是否可以将 Transformer 架构改造为类似 Siamese 的跟踪框架，以强化模板特征并传播时序线索？
• RQ3 编码器-only、解码器-only、以及编码器-解码器组合对跟踪性能有何影响？
• RQ4 在标准基准上，将 Transformer 增强的跟踪器与 Siamese 和 DiMP/DCF 管线结合时表现如何？

主要发现

• 编码器仅配置相对于基线带来温和的增益。
• 基于特征的解码器变换对 Siamese 和 DiMP 基线均有显著提升。
• 基于掩码的解码器变换也带来稳定的改进。
• 将特征与掩码变换结合可获得最大增益，显著降低训练损失并提升 GOT-10k 上的 AO（两种基线）。
• 使用完整的 Transformer，TrSiam 与 TrDiMP 均实现显著的性能提升，并缩小两种基线之间的差距。
• 改进后的 Transformer 跟踪器在 TrackingNet、GOT-10k、LaSOT、VOT2018、NfS、UAV123 和 OTB-2015 数据集上达到具有竞争力或最先进的结果。