[论文解读] Real-Time Object Tracking via Meta-Learning: Efficient Model Adaptation and One-Shot Channel Pruning

Ilchae Jung, Kihyun You+3 more|arXiv (Cornell University)|Nov 25, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 4

一句话总结

本文提出 MetaRTT，一种用于实时目标跟踪的元学习框架，可仅使用首帧真实框实现快速模型自适应与一次性的通道剪枝。通过模拟具有挑战性的跟踪场景并元优化初始权重、学习率和剪枝掩码，MetaRTT 在准确率上达到当前最先进水平，且推理速度比 RT-MDNet 快 38%，同时通过剪枝实现 12% 的速度提升，性能几乎保持不变。

ABSTRACT

We propose a novel meta-learning framework for real-time object tracking with efficient model adaptation and channel pruning. Given an object tracker, our framework learns to fine-tune its model parameters in only a few iterations of gradient-descent during tracking while pruning its network channels using the target ground-truth at the first frame. Such a learning problem is formulated as a meta-learning task, where a meta-tracker is trained by updating its meta-parameters for initial weights, learning rates, and pruning masks through carefully designed tracking simulations. The integrated meta-tracker greatly improves tracking performance by accelerating the convergence of online learning and reducing the cost of feature computation. Experimental evaluation on the standard datasets demonstrates its outstanding accuracy and speed compared to the state-of-the-art methods.

研究动机与目标

• 为解决基于深度学习的目标跟踪器在实时约束下在线模型自适应速度慢的挑战。
• 仅使用首帧单个真实框标注，实现高效、目标特定的模型压缩（通道剪枝）。
• 开发一种元学习框架，模拟初始与在线自适应阶段，以提升泛化能力与收敛速度。
• 通过元训练联合优化自适应与剪枝，降低计算成本，同时不牺牲跟踪准确率。
• 证明元学习得到的超参数在不同基准上具有良好泛化能力，无需手动调参。

提出的方法

• 该框架将目标跟踪建模为元学习问题，其中元参数（初始权重、学习率、剪枝掩码）在模拟的跟踪场景中进行优化。
• 模拟两个自适应阶段：(1) 使用首帧真实框进行初始自适应，(2) 使用前一帧跟踪目标进行在线自适应。
• 在元训练过程中引入困难样本，以提升对具有挑战性跟踪场景的鲁棒性。
• 提出一种基于元学习剪枝掩码的一次性通道剪枝技术，其基于单个真实框标注进行优化。
• 通过在多样化模拟跟踪场景上进行端到端优化训练元跟踪器，实现在推理阶段的快速收敛。
• 通过学习到的掩码对网络通道进行剪枝，显著降低 FLOPs 与推理时间，同时保持准确率损失最小。

实验结果

研究问题

• RQ1 元学习能否有效应用于实时目标跟踪，以加速在线模型自适应？
• RQ2 能否仅使用首帧真实框，通过元学习实现一次性通道剪枝，而无需迭代微调？
• RQ3 在元训练中同时模拟初始与在线自适应阶段，是否能比先前的元学习方法带来更好的泛化性能？
• RQ4 元学习得到的超参数是否能在不同数据集间良好泛化，而无需重新调参？
• RQ5 对自适应与剪枝进行联合优化，在多大程度上能改善实时跟踪中的速度-准确率权衡？

主要发现

• MetaRTT 在 OTB2015 上实现 58 FPS（对比 RT-MDNet 的 42 FPS），推理速度提升 38%，且成功率达到 65.5%（对比 RT-MDNet 的 65.0%）。
• MetaRTT+Prune 实现 65 FPS，成功率仅下降 0.4%（65.1% vs. 65.5%），且比 MetaRTT 快 12% 的推理速度。
• 通过元学习实现的一次性剪枝可将模型参数减少 50±5%，且准确率损失极小，优于非元学习与静态剪枝基线方法。
• MetaRTT+Prune 在 TempleColor 与 OTB2015 上保持优异性能，准确率与速度均优于当前最先进实时跟踪器。
• 元学习得到的超参数泛化能力强：在 OTB2015、TempleColor、VOT2016 与 UAV123 上均无需手动调参。
• MetaRTT+COCO 进一步提升在 VOT2016（EAO: 0.350）与 UAV123（Succ: 56.6%，Prec: 80.9%）上的性能，表明在更大预训练数据下仍有进一步提升潜力。