[论文解读] Ranking-Based Siamese Visual Tracking

Feng Tang, Qiang Ling|arXiv (Cornell University)|May 24, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种基于排序的优化（RBO）框架，用于孪生视觉追踪，通过增强对干扰物的判别能力并对齐分类与定位，提升了追踪器的鲁棒性与准确性。通过引入分类排序损失和IoU引导的排序损失，该方法在七个基准测试中实现了最先进性能，且无推理开销。

ABSTRACT

Current Siamese-based trackers mainly formulate the visual tracking into two independent subtasks, including classification and localization. They learn the classification subnetwork by processing each sample separately and neglect the relationship among positive and negative samples. Moreover, such tracking paradigm takes only the classification confidence of proposals for the final prediction, which may yield the misalignment between classification and localization. To resolve these issues, this paper proposes a ranking-based optimization algorithm to explore the relationship among different proposals. To this end, we introduce two ranking losses, including the classification one and the IoU-guided one, as optimization constraints. The classification ranking loss can ensure that positive samples rank higher than hard negative ones, i.e., distractors, so that the trackers can select the foreground samples successfully without being fooled by the distractors. The IoU-guided ranking loss aims to align classification confidence scores with the Intersection over Union(IoU) of the corresponding localization prediction for positive samples, enabling the well-localized prediction to be represented by high classification confidence. Specifically, the proposed two ranking losses are compatible with most Siamese trackers and incur no additional computation for inference. Extensive experiments on seven tracking benchmarks, including OTB100, UAV123, TC128, VOT2016, NFS30, GOT-10k and LaSOT, demonstrate the effectiveness of the proposed ranking-based optimization algorithm. The code and raw results are available at https://github.com/sansanfree/RBO.

研究动机与目标

• 为解决孪生视觉追踪中背景干扰物的问题，其中高置信度的难负样本可能误导追踪器。
• 解决现有孪生追踪器中分类置信度与定位精度之间的错位问题。
• 通过在训练过程中显式建模正样本与负样本之间的关系，提升模型泛化能力。
• 开发一种即插即用的优化策略，兼容多种孪生追踪器，且不增加推理成本。

提出的方法

• 提出一种分类排序损失，将分类任务视为排序任务，确保正样本的排名高于难负样本（干扰物）。
• 引入一种IoU引导的排序损失，使正样本的分类置信度分数与其定位预测的交并比（IoU）对齐。
• 设计损失函数以兼容现有孪生追踪器，无需架构修改或额外推理计算。
• 采用两阶段优化策略：首先，分类排序损失抑制干扰物的置信度；其次，IoU引导损失确保高置信度预测具有良好的定位性能。
• 对原始RankDetNet的IoU排序损失进行修改，将优化解耦为两个子任务并施加显式约束，从而提升训练稳定性和性能。
• 在基于锚点（SiamRPN++）和无锚点（SiamBAN）的孪生追踪器，以及基于Transformer（TransT）的追踪器上验证了该方法。

实验结果

研究问题

• RQ1 基于排序的优化策略能否提升孪生追踪器对难负样本的判别能力？
• RQ2 将分类置信度与IoU对齐是否能在不增加推理成本的前提下提升定位精度？
• RQ3 所提出的基于排序的优化方法在多样化的追踪基准和追踪器架构上的有效性如何？
• RQ4 该基于排序的优化方法能否推广至基于Transformer的视觉追踪器？

主要发现

• 所提出的RBO方法在TC128、NFS30和UAV123基准的综合测试中，将SiamRPN++的性能提升了1.45%（从60.63%提升至62.08%）。
• SiamBAN-RBO在相同基准集上实现了1.09%的性能增益（从61.15%提升至62.24%）。
• 分类排序损失能有效抑制干扰物的置信度，可视化结果表明其优于两阶段难负样本挖掘方法。
• IoU引导的排序损失显著提升了性能，修改后的版本因优化稳定性更好，优于原始RankDetNet损失。
• TransT+RBO在LaSOT上实现了0.7%的AUC增益，在UAV123上实现了0.6%的增益，证实该方法在注意力机制架构上同样有效。
• 消融实验表明，两种排序损失均独立且协同地贡献于性能提升，其中IoU引导损失带来的改进最大。