[论文解读] Unsupervised Lightweight Single Object Tracking with UHP-SOT++

Zhiruo Zhou, Hongyu Fu+2 more|arXiv (Cornell University)|Nov 15, 2021

Video Surveillance and Tracking Methods参考文献 45被引用 5

一句话总结

UHP-SOT++ 提出了一种无监督、轻量级的单目标跟踪器，通过引入背景运动建模和目标框轨迹建模，并采用改进的融合策略，提升了 STRCF 基线模型的鲁棒性和准确性。该方法在无预训练、模型尺寸极小的情况下，实现了 20 FPS 的推理速度（i5 CPU 上），在无监督跟踪器中达到最先进性能。

ABSTRACT

An unsupervised, lightweight and high-performance single object tracker, called UHP-SOT, was proposed by Zhou et al. recently. As an extension, we present an enhanced version and name it UHP-SOT++ in this work. Built upon the foundation of the discriminative-correlation-filters-based (DCF-based) tracker, two new ingredients are introduced in UHP-SOT and UHP-SOT++: 1) background motion modeling and 2) object box trajectory modeling. The main difference between UHP-SOT and UHP-SOT++ is the fusion strategy of proposals from three models (i.e., DCF, background motion and object box trajectory models). An improved fusion strategy is adopted by UHP-SOT++ for more robust tracking performance against large-scale tracking datasets. Our second contribution lies in an extensive evaluation of the performance of state-of-the-art supervised and unsupervised methods by testing them on four SOT benchmark datasets - OTB2015, TC128, UAV123 and LaSOT. Experiments show that UHP-SOT++ outperforms all previous unsupervised methods and several deep-learning (DL) methods in tracking accuracy. Since UHP-SOT++ has extremely small model size, high tracking performance, and low computational complexity (operating at a rate of 20 FPS on an i5 CPU even without code optimization), it is an ideal solution in real-time object tracking on resource-limited platforms. Based on the experimental results, we compare pros and cons of supervised and unsupervised trackers and provide a new perspective to understand the performance gap between supervised and unsupervised methods, which is the third contribution of this work.

研究动机与目标

• 在无需预训练或大规模标注数据的前提下，缩小无监督与有监督单目标跟踪器之间的性能差距。
• 实现在无人机、移动设备等资源受限平台上的实时、高精度跟踪。
• 通过基于运动的建模提升对跟踪漂移、遮挡和外观变化的鲁棒性。
• 提供一种透明、可解释的替代方案，以应对黑箱深度学习跟踪器，同时在未见物体上具备强泛化能力。
• 在准确性、效率和对未见物体的适应性方面，实证分析有监督与无监督跟踪之间的权衡。

提出的方法

• 在 STRCF 跟踪器基础上扩展两个新模块：背景运动建模与目标框轨迹预测。
• 利用背景运动建模通过分析目标周围背景区域的运动模式，检测并纠正漂移。
• 应用目标框轨迹建模，基于历史运动趋势预测未来目标位置，增强遮挡情况下的鲁棒性。
• 采用一种新颖的自适应融合策略，通过学习到的置信度权重，融合来自 DCF、背景运动和轨迹模型的预测结果。
• 完全无监督运行，无需任何标注训练数据或在视频数据集上的预训练。
• 利用傅里叶域相关运算实现快速推理，确保在 i5 CPU 上无需代码优化即可达到 20 FPS 的实时性能。

实验结果

研究问题

• RQ1 无监督跟踪器是否能在无预训练或大规模标注数据的情况下，实现与基于深度学习的有监督跟踪器相当的性能？
• RQ2 集成背景运动建模与目标轨迹建模如何提升在遮挡和外观变化下的长期跟踪鲁棒性？
• RQ3 在无监督设置下，优化的融合策略对整合多个跟踪预测结果有何影响？
• RQ4 在准确性、速度和对未见物体的泛化能力方面，无监督与有监督跟踪器的性能特征有何差异？
• RQ5 轻量级无监督跟踪器是否能在边缘设备上保持高精度的同时实现高效运行？

主要发现

• UHP-SOT++ 在 OTB2015、TC128、UAV123 和 LaSOT 基准测试中，全面超越所有先前的无监督单目标跟踪器。
• 在无监督跟踪器中达到最先进性能，显著缩小了与 SiamRPN++ 等基于深度学习方法的性能差距。
• 在 i5 CPU 上无需代码优化即可实现 20 FPS 的运行速度，展现出高效率与实时处理能力。
• UHP-SOT++ 在包含完全遮挡、尺度变化和长宽比变化的复杂序列中，成功实现跟踪丢失后的恢复。
• DCF、背景运动与轨迹模型的融合显著提升了目标框预测的鲁棒性与灵活性。
• 实验表明，无监督跟踪器如 UHP-SOT++ 在罕见或未见物体类别上的泛化能力优于有监督方法。