[论文解读] TracKlinic: Diagnosis of Challenge Factors in Visual Tracking

Heng Fan, Fan Yang+3 more|arXiv (Cornell University)|Nov 18, 2019

Video Surveillance and Tracking Methods参考文献 47被引用 8

一句话总结

TracKlinic 是一种用于视觉追踪的新型诊断工具包，通过提供包含 2,390 个视频的基准数据集，每个视频仅包含一种主要挑战因素（如遮挡、模糊、形状变化），实现了对追踪器的精确、因素特定的分析。该工具包支持在单一因素上对追踪器进行可靠评估与比较，揭示出严重的形状变化和遮挡是最具挑战性的因素，而尽管发生频率较低，视野外（out-of-view）因素则尤为致命。

ABSTRACT

Generic visual tracking is difficult due to many challenge factors (e.g., occlusion, blur, etc.). Each of these factors may cause serious problems for a tracking algorithm, and when they work together can make things even more complicated. Despite a great amount of efforts devoted to understanding the behavior of tracking algorithms, reliable and quantifiable ways for studying the per factor tracking behavior remain barely available. Addressing this issue, in this paper we contribute to the community a tracking diagnosis toolkit, TracKlinic, for diagnosis of challenge factors of tracking algorithms. TracKlinic consists of two novel components focusing on the data and analysis aspects, respectively. For the data component, we carefully prepare a set of 2,390 annotated videos, each involving one and only one major challenge factor. When analyzing an algorithm for a specific challenge factor, such one-factor-per-sequence rule greatly inhibits the disturbance from other factors and consequently leads to more faithful analysis. For the analysis component, given the tracking results on all sequences, it investigates the behavior of the tracker under each individual factor and generates the report automatically. With TracKlinic, a thorough study is conducted on ten state-of-the-art trackers on nine challenge factors (including two compound ones). The results suggest that, heavy shape variation and occlusion are the two most challenging factors faced by most trackers. Besides, out-of-view, though does not happen frequently, is often fatal. By sharing TracKlinic, we expect to make it much easier for diagnosing tracking algorithms, and to thus facilitate developing better ones.

研究动机与目标

• 为解决视觉追踪基准中因多种挑战因素同时存在而导致的可靠、因素特定评估缺失的问题。
• 通过消除其他因素的干扰，实现对追踪器在单一挑战因素上行为的忠实诊断。
• 提供大规模、高质量的基准数据集，并附带逐帧标注，以支持对追踪失败的系统性分析。
• 促进在特定挑战因素上对最先进追踪器的公平比较。
• 在受控条件下提升对追踪器鲁棒性、一致性及失败模式的理解。

提出的方法

• 对 OTB-2015、TC-128 和 LaSOT 中的 461 个视频进行逐帧标注，涵盖七种挑战因素，共生成 776,000 个标注。
• 通过提取 2,390 个序列构建 TracKlinic，每个序列仅包含一种主要挑战因素，确保分析的纯净性以实现可靠评估。
• 设计自动化分析流程，利用成功分数（阈值 0.5）和失败率指标，评估追踪器在每种因素上的性能表现。
• 通过成功分数的方差度量追踪器在不同挑战因素上的表现一致性，以评估其稳定性。
• 应用深度特征并结合边界框回归/IoU 预测，评估模型设计对特定因素鲁棒性的影响。
• 对十种最先进追踪器在九种挑战因素（包括复合因素）上进行定性与定量分析。

实验结果

研究问题

• RQ1 当视觉追踪算法被隔离到单一挑战因素（如遮挡或运动模糊）时，其性能表现如何？
• RQ2 哪些挑战因素对追踪器性能最具破坏性？不同追踪器的失败率如何变化？
• RQ3 追踪器在处理不同类型挑战因素时的一致性如何？哪些因素导致最高的性能方差？
• RQ4 深度特征与特定设计组件（如 IoU 预测）对特定因素鲁棒性的相对影响是什么？
• RQ5 与单一因素相比，复合因素（如遮挡加旋转或背景杂乱）如何影响追踪器的失败率？

主要发现

• 遮挡和严重形状变化是两个最具挑战性的因素，多个追踪器的失败率超过 40%。
• 尽管发生频率较低，视野外因素是最具致命性的，常导致追踪器完全失效。
• DiMP 在九种挑战因素中的八种上表现最佳，尤其在背景杂乱场景下表现出色，得益于有效的背景建模。
• 所有追踪器对光照变化均表现出鲁棒性，失败率低于 5%，表明深度特征能有效缓解该因素影响。
• 基于 IoU-Net 的追踪器在目标状态估计上略优于基于 RPN 的追踪器，表明其在回归精度方面具有优势。
• 在视野外和背景杂乱因素上，追踪器性能一致性较低，表明在高复杂度场景下存在不稳定性。