[论文解读] Tracking for Half an Hour

Ran Tao, Efstratios Gavves+1 more|arXiv (Cornell University)|Nov 28, 2017

Video Surveillance and Tracking Methods参考文献 20被引用 13

一句话总结

该论文提出了一种长时程视觉追踪器，通过结合全局与局部搜索策略，并引入自评估模块以实现谨慎的模型更新，从而在长达30分钟的视频序列（如监控或体育赛事录像）中保持高精度。该追踪器在UAV20L和YouTubeLong等长时程基准测试中优于当前最先进方法，且在重复循环中表现稳定，而短时追踪器则随时间推移性能持续下降。

ABSTRACT

Long-term tracking requires extreme stability to the multitude of model updates and robustness to the disappearance and loss of the target as such will inevitably happen. For motivation, we have taken 10 randomly selected OTB-sequences, doubled each by attaching a reversed version and repeated each double sequence 20 times. On most of these repetitive videos, the best current tracker performs worse on each loop. This illustrates the difference between optimization for short-term versus long-term tracking. In a long-term tracker a combined global and local search strategy is beneficial, allowing for recovery from failures and disappearance. Most importantly, the proposed tracker also employs cautious updating, guided by self-quality assessment. The proposed tracker is still among the best on the 20-sec OTB-videos while achieving state-of-the-art on the 100-sec UAV20L benchmark. On 10 new half-an-hour videos with city bicycling, sport games etc, the proposed tracker outperforms others by a large margin where the 2010 TLD tracker comes second.

研究动机与目标

• 解决现有短时追踪基准（如OTB、VOT）在评估长时追踪器稳定性与鲁棒性方面的局限性。
• 研究模型漂移与采样漂移如何在长视频序列中累积，导致追踪性能下降。
• 开发一种在目标消失与重新出现后仍能保持性能的追踪器，适用于重复循环与长时间序列。
• 引入一种自评估机制，以谨慎引导模型更新，防止模型漂移。

提出的方法

• 采用混合搜索策略，结合全局与局部搜索，以实现对追踪失败与目标消失的恢复。
• 引入自质量评估模块，用于评估预测置信度，以决定是否执行模型更新。
• 基于自评估模块的输出实施谨慎的模型更新，降低累积模型漂移的风险。
• 采用双循环实验设置：将10个OTB序列通过反转并重复20次，以模拟长时程追踪场景。
• 在标准短时基准（OTB100）与长时基准（UAV20L、YouTubeLong）上评估性能，以分析性能权衡。
• 采用AUC作为所有基准测试中的主要性能比较指标。

实验结果

研究问题

• RQ1 当前最先进短时追踪器在包含重复循环的长视频序列中，性能如何退化？
• RQ2 追踪器在目标消失、重新出现及视频剪辑的30分钟视频中，能多大程度维持精度？
• RQ3 自评估机制能否有效引导模型更新，以防止长期模型漂移？
• RQ4 与纯局部搜索相比，全局-局部搜索策略在失败恢复与长期稳定性方面有何改进？

主要发现

• 所提出的追踪器在20轮重复视频中保持或提升了性能，而表现优异的短时追踪器ECO则显示出持续的性能退化。
• 在100秒的UAV20L基准测试中，所提出的追踪器达到最先进性能，优于所有其他追踪器。
• 在10段新的半小时城市骑行与体育赛事视频中，所提出的追踪器显著优于所有其他方法，TLD [13] 排名第二。
• 在YouTubeLong（目标长时间缺失）基准中，仅有本方法与TLD成功将目标追踪至结束，且本方法领先幅度显著。
• 在短时基准OTB100上，所提出的追踪器AUC达到59.8%，与ECO（69.1）和MDNet（67.8）等最先进短时追踪器性能相当，尽管其优化目标为长时追踪。
• 不进行模型更新的保守版本在无限长或重复视频中仍保持稳定与高效，证明了其无需性能退化即可实现鲁棒性。