[论文解读] NeighborTrack: Improving Single Object Tracking by Bipartite Matching with Neighbor Tracklets

Yu‐Hsi Chen, Chien-Yao Wang+5 more|arXiv (Cornell University)|Nov 12, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

NeighborTrack 是一种后处理模块，通过利用时空邻近轨迹片段（tracklets）对跟踪结果进行验证，采用二分图匹配方法，显著减少了遮挡期间的误报。在 VOT 上，它将 EAO 提升了 1.92%，鲁棒性提升了 2.11%；当应用于 OSTrack 时，在 LaSOT 上实现了 72.25% 的 AUC，达到当前最先进水平，在 GOT-10K 上实现了 75.7% 的 AO。

ABSTRACT

We propose a post-processor, called NeighborTrack, that leverages neighbor information of the tracking target to validate and improve single-object tracking (SOT) results. It requires no additional data or retraining. Instead, it uses the confidence score predicted by the backbone SOT network to automatically derive neighbor information and then uses this information to improve the tracking results. When tracking an occluded target, its appearance features are untrustworthy. However, a general siamese network often cannot tell whether the tracked object is occluded by reading the confidence score alone, because it could be misled by neighbors with high confidence scores. Our proposed NeighborTrack takes advantage of unoccluded neighbors' information to reconfirm the tracking target and reduces false tracking when the target is occluded. It not only reduces the impact caused by occlusion, but also fixes tracking problems caused by object appearance changes. NeighborTrack is agnostic to SOT networks and post-processing methods. For the VOT challenge dataset commonly used in short-term object tracking, we improve three famous SOT networks, Ocean, TransT, and OSTrack, by an average of ${1.92\%}$ EAO and ${2.11\%}$ robustness. For the mid- and long-term tracking experiments based on OSTrack, we achieve state-of-the-art ${72.25\%}$ AUC on LaSOT and ${75.7\%}$ AO on GOT-10K. Code duplication can be found in https://github.com/franktpmvu/NeighborTrack.

研究动机与目标

• 为了解决单目标跟踪（SOT）中因外观特征不可靠而导致的遮挡期间误跟踪问题。
• 通过利用空间-时间邻近信息，在不重新训练或收集新数据的情况下提升跟踪鲁棒性。
• 开发一种后处理模块，仅使用置信度分数和邻近轨迹片段来增强现有 SOT 模型。
• 减少因目标与其它外观相似物体混淆，或因形变、遮挡导致的外观变化而引起的误报。
• 在 LaSOT 和 GOT-10K 等标准基准上实现最先进性能，且无需对主干跟踪器架构进行任何修改。

提出的方法

• NeighborTrack 在候选检测与目标对象之间构建二分图匹配图，将未遮挡的邻近对象作为额外的真实标签来源。
• 利用邻近对象的空间-时间轨迹片段来估计相似度分数，从而在遮挡期间提升可靠性。
• 该方法利用主干 SOT 网络输出的置信度分数，自动识别并验证邻近对象。
• 在候选集与目标对象及邻近对象之间执行二分图匹配，确保每个候选仅被分配给一个源对象。
• 使用卡尔曼滤波器生成独立于外观的额外候选假设，从而在外观发生改变时增强鲁棒性。
• 该方法作为后处理模块应用，无需重新训练或额外数据，兼容基于 Siamese 和 Transformer 的 SOT 模型。

实验结果

研究问题

• RQ1 是否可以利用邻近信息在不重新训练主干网络的情况下提升遮挡期间的跟踪精度？
• RQ2 引入空间-时间邻近轨迹片段如何影响 SOT 中二分图匹配的可靠性？
• RQ3 基于邻近匹配的后处理模块是否能在长时跟踪基准上超越当前最先进 SOT 方法？
• RQ4 使用邻近轨迹片段是否能减少目标与其它外观相似物体混淆导致的误报？
• RQ5 轻量级后处理模块在多种 SOT 架构上能实现多大程度的性能提升？

主要发现

• NeighborTrack 在 VOT 基准上，将三种 SOT 网络（Ocean、TransT 和 OSTrack）的 EAO 平均提升 1.92%，鲁棒性平均提升 2.11%。
• 当应用于 OSTrack384 时，NeighborTrack 在 LaSOT 上实现了 72.25% 的 AUC，超越所有先前方法。
• 在 GOT-10K 上，OSTrack384 搭载 NeighborTrack 后达到 75.7% 的 AO，优于此前最先进方法 MixFormer-L。
• 该方法在多个数据集（包括 UAV123、OTB100 和 TrackingNet）上均表现提升，AUC 和精度指标持续增益。
• 提高邻近匹配阈值 τ 可提升 UAV123 和 OTB100 上的 AUC，表明其对邻近对象可靠性具有敏感性。
• 在 Bicycle-9 和 Flag-2 等具有挑战性的序列中，NeighborTrack 能够成功在遮挡后恢复跟踪，而基线跟踪器因外观变化或相似物体干扰而失败。