[论文解读] Training-Set Distillation for Real-Time UAV Object Tracking

Fan Li, Changhong Fu+3 more|arXiv (Cornell University)|Mar 11, 2020

Video Surveillance and Tracking Methods参考文献 32被引用 4

一句话总结

该论文提出了一种基于时间槽的蒸馏方法（TSD），用于在使用相关滤波器进行实时无人机目标跟踪时提升训练集质量。通过利用高置信度跟踪帧作为关键帧将序列分割为时间槽，该方法自适应地对历史样本进行评分与融合，同时丢弃低分样本，显著提升了对遮挡和运动模糊的鲁棒性。TSD跟踪器在UAV123和DTB70基准上实现了最先进性能，并在单个CPU上实现了实时推理。

ABSTRACT

Correlation filter (CF) has recently exhibited promising performance in visual object tracking for unmanned aerial vehicle (UAV). Such online learning method heavily depends on the quality of the training-set, yet complicated aerial scenarios like occlusion or out of view can reduce its reliability. In this work, a novel time slot-based distillation approach is proposed to efficiently and effectively optimize the training-set's quality on the fly. A cooperative energy minimization function is established to score the historical samples adaptively. To accelerate the scoring process, frames with high confident tracking results are employed as the keyframes to divide the tracking process into multiple time slots. After the establishment of a new slot, the weighted fusion of the previous samples generates one key-sample, in order to reduce the number of samples to be scored. Besides, when the current time slot exceeds the maximum frame number, which can be scored, the sample with the lowest score will be discarded. Consequently, the training-set can be efficiently and reliably distilled. Comprehensive tests on two well-known UAV benchmarks prove the effectiveness of our method with real-time speed on a single CPU.

研究动机与目标

• 解决由于遮挡、视角变化和目标出视野等情况导致的相关滤波（CF）基无人机跟踪性能退化的问题。
• 在不增加计算成本的前提下提升跟踪可靠性，尤其适用于资源受限的无人机平台。
• 开发一种高效、在线的训练集蒸馏机制，实现实时自适应过滤低质量样本。
• 在单个CPU上保持实时性能的同时，在无人机基准上实现最先进精度。

提出的方法

• 该方法利用高置信度跟踪帧作为关键帧，将跟踪序列划分为时间槽，实现动态样本管理。
• 采用协同能量最小化函数，基于响应图质量对历史样本进行评分，反映跟踪置信度与可靠性。
• 当形成新时间槽时，将先前样本融合为单个关键样本，以减少冗余并加速评分。
• 训练集大小受预设上限限制；当超过该上限时，丢弃得分最低的样本以保持效率。
• 使用响应图作为跟踪置信度的代理，指导联合优化框架中的样本评分与正则化。
• 该方法将样本评分、融合与丢弃整合为轻量级、在线处理流水线，兼容实时部署。

实验结果

研究问题

• RQ1 在线训练集蒸馏能否在复杂视觉条件下提升相关滤波基无人机跟踪器的鲁棒性？
• RQ2 如何在不增加计算负载的前提下，实时自适应优化训练集质量？
• RQ3 基于关键帧的时间槽分割对样本评分效率与跟踪精度有何影响？
• RQ4 基于响应图的置信度估计在多大程度上可降低不可靠样本的影响？
• RQ5 通过训练集蒸馏，能否实现一种轻量级、兼容单个CPU的跟踪器，并在无人机基准上达到最先进性能？

主要发现

• 在UAV123@10fps基准上，TSD的精度率达到0.659，成功率为0.464，分别优于基线BACF 15.2%和12.3%。
• 在UAV123上，TSD在精度和成功率曲线中均排名第一，精度分别高于ECO-HC和MCCT-H 3.9%和10.6%。
• 在DTB70上，TSD分别较ECO-HC和MCCT-H在精度上提升2.2%和8.8%，并在成功率曲线中排名第二。
• 消融实验表明，样本丢弃、融合与响应图正则化均带来增量贡献，完整方法在精度上实现15.2%的相对提升。
• 该跟踪器可在单个CPU上实时运行，速度足以满足实际无人机应用需求。
• 视觉对比显示，TSD在遮挡、视角变化和目标出视野等场景下能有效避免漂移，而基线BACF在这些条件下始终失败。