[论文解读] Robust Object Modeling for Visual Tracking

Yidong Cai, Jie Liu+2 more|arXiv (Cornell University)|Aug 9, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出ROMTrack，一种新颖的视觉跟踪框架，通过使用双流注意力联合建模固有模板特征与混合模板特征，增强模型鲁棒性，同时引入自适应变化标记以应对外观变化。该方法在六个基准测试中达到最先进性能，在LaSOT ${}_{\text{ext}}$ 上的AUC最高提升2.5%。

ABSTRACT

Object modeling has become a core part of recent tracking frameworks. Current popular tackers use Transformer attention to extract the template feature separately or interactively with the search region. However, separate template learning lacks communication between the template and search regions, which brings difficulty in extracting discriminative target-oriented features. On the other hand, interactive template learning produces hybrid template features, which may introduce potential distractors to the template via the cluttered search regions. To enjoy the merits of both methods, we propose a robust object modeling framework for visual tracking (ROMTrack), which simultaneously models the inherent template and the hybrid template features. As a result, harmful distractors can be suppressed by combining the inherent features of target objects with search regions' guidance. Target-related features can also be extracted using the hybrid template, thus resulting in a more robust object modeling framework. To further enhance robustness, we present novel variation tokens to depict the ever-changing appearance of target objects. Variation tokens are adaptable to object deformation and appearance variations, which can boost overall performance with negligible computation. Experiments show that our ROMTrack sets a new state-of-the-art on multiple benchmarks.

研究动机与目标

• 通过结合各自优势，解决视觉跟踪中单独学习与交互学习模板的局限性。
• 在保留判别性特征提取的同时，缓解混合模板学习中干扰物污染的风险。
• 通过一种新颖且计算高效的标记设计，提升对目标形变与外观变化的鲁棒性。
• 在不依赖模板更新的前提下，在多个标准视觉跟踪基准上实现最先进性能。

提出的方法

• 提出双模板架构：通过固有模板流保留纯净目标特征，通过混合模板流与搜索区域实现相互特征增强。
• 从混合模板特征中提取变化标记，用于建模跟踪过程中的动态外观变化。
• 将变化标记集成到交叉注意力计算中，引导注意力关注外观上下文，且不增加计算成本。
• 采用两阶段训练策略：首先在大规模数据集上预训练，然后通过连续采样策略微调，以学习时间上的外观动态。
• 在固有模板流中使用自注意力，在混合模板流中使用交叉注意力，实现双向特征交互。
• 设计一种轻量化但高效的可变标记机制，使其在推理过程中能自适应对象形变与外观漂移。

实验结果

研究问题

• RQ1 将固有模板特征与混合模板特征联合建模，是否能相比单独使用任一方法显著提升跟踪鲁棒性？
• RQ2 所提出的可变标记机制在不增加计算成本的前提下，对建模外观变化的效率如何？
• RQ3 训练过程中采用连续采样策略是否能有效提升模型捕捉时间外观动态的能力？
• RQ4 所提框架在标准基准上的性能相比现有最先进方法提升程度如何？
• RQ5 可变标记设计能否与在线模板更新有效结合，进一步提升性能？

主要发现

• ROMTrack在六个基准上达到新的最先进水平，LaSOT上AUC为69.3%，LaSOT ${}_{\text{ext}}$ 上为48.9%，相比之前方法最高提升2.5% AUC。
• 消融实验表明，可变标记至关重要：ROMTrack（无vt）在LaSOT和LaSOT ${}_{\text{ext}}$ 上分别下降0.5%和0.7%。
• 与随机采样相比，训练中采用连续采样能提升性能，证明其在学习时间外观动态方面的有效性。
• ROMTrack在LaSOT上比HTM-400（训练400轮）高0.5% AUC，在LaSOT ${}_{\text{ext}}$ 上高2.6% AUC，证明架构优势超越单纯延长训练时间。
• 当与在线模板更新结合时，可变标记设计进一步提升性能，HTM-vt-online在LaSOT和LaSOT ${}_{\text{ext}}$ 上分别实现0.5%和0.4%更高的AUC。
• 该方法对干扰物和形变具有鲁棒性，如在遮挡和尺度变化等多样化跟踪挑战中均表现出一致的性能提升。