[论文解读] Tracking by Instance Detection: A Meta-Learning Approach

Guangting Wang, Chong Luo+3 more|arXiv (Cornell University)|Apr 2, 2020

Video Surveillance and Tracking Methods参考文献 43被引用 15

一句话总结

本文提出了一种元学习框架，通过模型无关元学习（MAML）将通用目标检测器转化为高性能跟踪器。通过使用MAML进行模型初始化，并利用单张初始帧在线适应，该方法在多个基准测试中达到最先进性能，其中Retina-MAML在OTB-100上的AUC达到0.712，FCOS-MAML在TrackingNet上的AUC达到0.757。

ABSTRACT

We consider the tracking problem as a special type of object detection problem, which we call instance detection. With proper initialization, a detector can be quickly converted into a tracker by learning the new instance from a single image. We find that model-agnostic meta-learning (MAML) offers a strategy to initialize the detector that satisfies our needs. We propose a principled three-step approach to build a high-performance tracker. First, pick any modern object detector trained with gradient descent. Second, conduct offline training (or initialization) with MAML. Third, perform domain adaptation using the initial frame. We follow this procedure to build two trackers, named Retina-MAML and FCOS-MAML, based on two modern detectors RetinaNet and FCOS. Evaluations on four benchmarks show that both trackers are competitive against state-of-the-art trackers. On OTB-100, Retina-MAML achieves the highest ever AUC of 0.712. On TrackingNet, FCOS-MAML ranks the first on the leader board with an AUC of 0.757 and the normalized precision of 0.822. Both trackers run in real-time at 40 FPS.

研究动机与目标

• 为解决如何高效地将通用目标检测器适应特定实例并仅使用极少数据的问题。
• 通过将跟踪视为实例检测，消除对模板或双分支架构的依赖。
• 仅使用单张初始帧即可实现对新目标的快速适应，且不会过拟合。
• 利用元学习初始化检测器，使其能够泛化至多样化的视觉跟踪领域。
• 构建即插即用的跟踪器，保留现代检测器的完整架构与组件，同时实现具有竞争力的性能。

提出的方法

• 采用通过标准梯度下降训练的通用目标检测器（如RetinaNet或FCOS）作为基础模型。
• 在大规模跟踪序列上进行离线预训练阶段的模型无关元学习（MAML），以学习良好的初始化参数。
• 在MAML中引入逐核可学习的元学习率，以增强基于梯度的适应能力。
• 通过在测试序列的第一帧上进行少量梯度更新，实现在线领域自适应，使检测器适配至新实例。
• 通过在跟踪过程中持续使用额外帧更新检测器，实现增量式适应，提升鲁棒性。
• 在分类头与回归头之间共享主干块（如ResNet-18 block-4），在不损失性能的前提下减少参数量。

实验结果

研究问题

• RQ1 能否通过元学习将通用目标检测器有效转化为高性能跟踪器？
• RQ2 基于MAML的初始化是否能仅使用单帧实现对新跟踪实例的快速且鲁棒的适应？
• RQ3 基于现代检测器架构的无模板、端到端跟踪器能否超越现有最先进跟踪器？
• RQ4 所提跟踪器在具有不同序列长度和外观变化的多个数据集上的性能表现如何？
• RQ5 更强大的主干网络在长时序和复杂序列中能在多大程度上提升跟踪器的性能？

主要发现

• Retina-MAML在OTB-100上的AUC达到0.712，为该基准测试报告的最高AUC值。
• FCOS-MAML在TrackingNet排行榜上排名第一，AUC为0.757，归一化精度为0.822。
• Retina-MAML与FCOS-MAML均实现40 FPS的实时推理，支持实际部署。
• 在VOT-2018上，Retina-MAML的EAO为0.452，在所有评估跟踪器中排名第一。
• FCOS-MAML在VOT-2019上达到最高精度（0.637），优于所有其他最先进跟踪器。
• 使用更强大的主干网络（ResNet-50）可略微提升性能，尤其在VOT-18上，EAO从0.392提升至0.444。