[论文解读] Single Object Tracking Research: A Survey

Ruize Han, Wei Feng+2 more|arXiv (Cornell University)|Apr 25, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本综述全面概述了计算机视觉中的单目标跟踪，重点聚焦于核心相关滤波与孪生网络框架、基于深度学习的方法，以及应对遮挡、形变和长期跟踪的策略。文章分析了基准测试、发展趋势与未来方向，包括多模态融合以及与视频理解任务的整合。

ABSTRACT

Visual object tracking is an important task in computer vision, which has many real-world applications, e.g., video surveillance, visual navigation. Visual object tracking also has many challenges, e.g., object occlusion and deformation. To solve above problems and track the target accurately and efficiently, many tracking algorithms have emerged in recent years. This paper presents the rationale and representative works of two most popular tracking frameworks in past ten years, i.e., the corelation filter and Siamese network for object tracking. Then we present some deep learning based tracking methods categorized by different network structures. We also introduce some classical strategies for handling the challenges in tracking problem. Further, this paper detailedly present and compare the benchmarks and challenges for tracking, from which we summarize the development history and development trend of visual tracking. Focusing on the future development of object tracking, which we think would be applied in real-world scenes before some problems to be addressed, such as the problems in long-term tracking, low-power high-speed tracking and attack-robust tracking. In the future, the integration of multimodal data, e.g., the depth image, thermal image with traditional color image, will provide more solutions for visual tracking. Moreover, tracking task will go together with some other tasks, e.g., video object detection and segmentation.

研究动机与目标

• 系统性地回顾计算机视觉中单目标跟踪的演进过程与当前状态。
• 分析两种主流跟踪框架——相关滤波与孪生网络——的核心原理及代表性工作。
• 基于网络架构对基于深度学习的跟踪方法进行分类与分析。
• 识别并讨论关键挑战，如遮挡、形变、长期跟踪失败以及对对抗性攻击的鲁棒性。
• 展望未来研究方向，包括多模态数据融合以及与视频目标检测和分割等任务的多任务学习。

提出的方法

• 将跟踪方法划分为两大范式：基于相关滤波的框架与基于孪生网络的框架。
• 根据网络结构回顾基于深度学习的跟踪方法，如孪生双塔、双流网络以及基于Transformer的架构。
• 分析处理跟踪挑战的经典策略，包括遮挡推理、外观建模与运动估计。
• 评估主要的跟踪基准（如OTB、VOT、LaSOT、TrackingNet），并比较不同数据集上的性能表现。
• 考察从传统方法到基于深度学习的视觉跟踪的发展轨迹。
• 提出未来研究方向，包括将深度与热成像数据与RGB数据融合，以及与视频级任务（如检测与分割）的集成。

实验结果

研究问题

• RQ1 在单目标跟踪中，相关滤波与孪生网络框架的核心设计原则及代表性方法是什么？
• RQ2 基于深度学习的跟踪方法在网络架构与性能方面如何演变？
• RQ3 处理遮挡、形变与长期跟踪失败最有效的策略有哪些？
• RQ4 主要基准在评估跟踪性能方面如何比较？它们为算法的优势与劣势提供了哪些洞察？
• RQ5 视觉跟踪系统在实际部署中的关键未来发展方向是什么？

主要发现

• 由于高效的关联运算，基于相关滤波的方法在实时跟踪中依然有效，尤其在低复杂度场景下表现优异。
• 由于其强大的特征学习能力与对外观变化的鲁棒性，孪生网络已成为现代跟踪中的主导框架。
• 基于深度学习的方法在标准基准测试中显著优于传统方法，尤其在处理形变与运动模糊方面表现突出。
• 长期跟踪仍是重大挑战，特别是在长时间遮挡与外观漂移的情况下。
• 对对抗性攻击的鲁棒性以及低功耗、高速度的跟踪被识别为实际部署中的关键开放问题。
• 未来跟踪系统预计将整合多模态数据（如深度、热成像），并与相关视频任务（如检测与分割）联合优化。