[论文解读] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|Aug 1, 2017

Video Surveillance and Tracking Methods参考文献 35被引用 56

一句话总结

本论文提出 PTAV，一个两线程框架，将一个快速跟踪器与一个独立验证器配对，以实现实时跟踪并高精度，能够按需纠正，超越实时跟踪器并接近深度学习性能。

ABSTRACT

Being intensively studied, visual tracking has seen great recent advances in either speed (e.g., with correlation filters) or accuracy (e.g., with deep features). Real-time and high accuracy tracking algorithms, however, remain scarce. In this paper we study the problem from a new perspective and present a novel parallel tracking and verifying (PTAV) framework, by taking advantage of the ubiquity of multi-thread techniques and borrowing from the success of parallel tracking and mapping in visual SLAM. Our PTAV framework typically consists of two components, a tracker T and a verifier V, working in parallel on two separate threads. The tracker T aims to provide a super real-time tracking inference and is expected to perform well most of the time; by contrast, the verifier V checks the tracking results and corrects T when needed. The key innovation is that, V does not work on every frame but only upon the requests from T; on the other end, T may adjust the tracking according to the feedback from V. With such collaboration, PTAV enjoys both the high efficiency provided by T and the strong discriminative power by V. In our extensive experiments on popular benchmarks including OTB2013, OTB2015, TC128 and UAV20L, PTAV achieves the best tracking accuracy among all real-time trackers, and in fact performs even better than many deep learning based solutions. Moreover, as a general framework, PTAV is very flexible and has great rooms for improvement and generalization.

研究动机与目标

• 推动实时高精度视觉跟踪，其中深度方法虽然准确但慢，快速相关过滤器跟踪器快速但鲁棒性较差。
• 提出一个两线程 PTAV 框架，将快速跟踪器与验证器结合，以平衡速度与准确性。
• 展示选择性验证结果能在不牺牲实时性能的前提下提升鲁棒性，在标准基准上。

提出的方法

• 将跟踪分解为两个并行组件：一个快速跟踪器 T 和一个在独立线程上运行的验证器 V。
• T 使用快速判别式跟踪器 (fDSST) 以提供逐帧跟踪并实现高效更新。
• V 采用基于 Siamese 网络的验证器，在选定帧上验证 T 的输出并在必要时纠正 T。
• T 与 V 的协调是事件驱动的：T 定期请求验证，V 可以将纠正反馈给 T。
• V 中的验证利用区域池化来在需要时高效评估多个候选区域。
• T 存储中间结果以实现纠正后快速追溯，从而保持实时性能。

实验结果

研究问题

• RQ1 并行跟踪-验证框架是否能在保持实时跟踪的同时达到或超过深度学习跟踪器的精度？
• RQ2 应如何调整验证频率和局部搜索区域以平衡速度与鲁棒性？
• RQ3 在 PTAV 框架中整合 Siamese 网络验证器与快速相关滤波跟踪器，是否能提高对遮挡、形变及遮挡相关漂移的鲁棒性？
• RQ4 在 PTAV 框架中使用不同的基础跟踪器（如 fDSST 与 KCF）对精度和速度的影响？

主要发现

• PTAV 在 OT B2013 和 OTB2015 基准上实现了同类最好的实时追踪精度。
• 在 OTB2015 上，PTAV 的距离误差率为 84.9%，重叠成功率为 77.6%，以实时速度运行（约 25 fps）。
• 在 TC128 上，PTAV 达到 74.1% DPR 和 54.4% OSR，超越多种最先进方法。
• 在 UAV20L 上，PTAV 实现 62.4% DPR 和 42.3% OSR，约 25 fps。
• PTAV 的两线程设计比单线程变体提供更快的整体性能，而验证器仅在需要时提供纠错反馈，保持效率。
• PTAV 在背景杂乱、形变、遮挡与尺度变化等属性下表现出鲁棒性，超过若干深度特征和相关滤波跟踪器。