[论文解读] Predictive Visual Tracking: A New Benchmark and Baseline Approach

Bowen Li, Yiming Li+3 more|arXiv (Cornell University)|Mar 8, 2021

Video Surveillance and Tracking Methods参考文献 40被引用 4

一句话总结

本文提出了预测性视觉追踪（PVT），这是一种新颖的任务，将视觉追踪与未来状态预测相结合，以解决实时机器人应用中的延迟问题。通过提出一种延迟感知评估（LAE）基准和一个即插即用的预测模块，该方法在无人机上提升了追踪器的鲁棒性，在实时约束下，距离精度（DP）最高提升33.9%，AUC最高提升23.6%。

ABSTRACT

As a crucial robotic perception capability, visual tracking has been intensively studied recently. In the real-world scenarios, the onboard processing time of the image streams inevitably leads to a discrepancy between the tracking results and the real-world states. However, existing visual tracking benchmarks commonly run the trackers offline and ignore such latency in the evaluation. In this work, we aim to deal with a more realistic problem of latency-aware tracking. The state-of-the-art trackers are evaluated in the aerial scenarios with new metrics jointly assessing the tracking accuracy and efficiency. Moreover, a new predictive visual tracking baseline is developed to compensate for the latency stemming from the onboard computation. Our latency-aware benchmark can provide a more realistic evaluation of the trackers for the robotic applications. Besides, exhaustive experiments have proven the effectiveness of the proposed predictive visual tracking baseline approach.

研究动机与目标

• 解决视觉追踪基准中忽略机器人系统实时处理延迟的关键空白。
• 构建一个现实的评估框架，联合衡量在延迟条件下的追踪准确性和计算效率。
• 开发一种通用的、即插即用的预测模块，以补偿视觉追踪中的机载处理延迟。
• 在真实无人机硬件上展示预测性追踪的有效性，并实现相对于标准追踪器的可测量性能提升。

提出的方法

• 提出一种延迟感知评估（LAE）基准，通过在每个时间戳查询目标状态来模拟实时追踪，同时考虑处理延迟。
• 引入一种预测性视觉追踪（PVT）框架，通过预预测器和后预测器扩展现有追踪器，以预测未来目标状态。
• 实现一个预预测器，在追踪推理前预测运动趋势，以及一个后预测器，利用时序动态优化最终输出。
• 将预测器作为即插即用模块集成到SiamRPN++和DiMP等先进追踪器中，实现最小的架构改动。
• 在DTB70数据集上使用真实无人机处理延迟评估该框架，指标包括距离精度（DP）和AUC。
• 进行消融研究，以分离各预测器的贡献，并验证完整PVT流程的有效性。

实验结果

研究问题

• RQ1 在实时无人机应用中，处理延迟如何降低最先进视觉追踪器的性能？
• RQ2 在实时计算约束下，预测性追踪框架能在多大程度上提升准确率？
• RQ3 预预测和后预测模块在缓解延迟引起的追踪误差方面，各自贡献如何？
• RQ4 一种通用的、即插即用的预测模块是否能显著提升现有追踪器的鲁棒性，而无需微调？
• RQ5 不同追踪属性（如高速运动、遮挡）如何影响所提PVT框架的性能增益？

主要发现

• LAE基准显示，非预测性追踪器在实时延迟下性能显著下降，距离精度（DP）最高下降57%，尤其对较慢模型影响更大。
• 所提出的PVT基线相比其非预测性基线，将SiamRPN++_mob追踪器的DP提升33.9%，AUC提升23.6%。
• 仅后预测器即可带来20%的DP提升，预预测器贡献11%，两者结合时性能最佳。
• 在基于属性的评估中，PVT框架在全部10项无人机特定挑战中排名第一，包括在高速相机运动（FCM）中提升57%，在形变（DEF）场景中性能接近翻倍。
• 定性结果表明，预测性追踪器（实线红色）在高速运动和遮挡情况下仍能保持追踪鲁棒性，而普通追踪器（虚线红色）则容易失败。
• 在延迟感知条件下，该框架在DTB70基准上达到最先进性能，证明其在真实机器人应用中的实际可行性。