[论文解读] Siamese Keypoint Prediction Network for Visual Object Tracking

Qiang Li, Zekui Qin+2 more|arXiv (Cornell University)|Jun 7, 2020

Video Surveillance and Tracking Methods参考文献 57被引用 11

一句话总结

本文提出 SiamKPN，一种用于视觉目标跟踪的孪生关键点预测网络，通过一系列逐步收紧监督的热力图头，实现从粗到精的预测优化。通过应用从宽松到严格的中间监督，模型在 OTB-100、VOT2018、LaSOT 和 GOT-10k 上均超越了当前最先进水平的孪生跟踪器，同时实现实时推理速度（24 FPS）。

ABSTRACT

Visual object tracking aims to estimate the location of an arbitrary target in a video sequence given its initial bounding box. By utilizing offline feature learning, the siamese paradigm has recently been the leading framework for high performance tracking. However, current existing siamese trackers either heavily rely on complicated anchor-based detection networks or lack the ability to resist to distractors. In this paper, we propose the Siamese keypoint prediction network (SiamKPN) to address these challenges. Upon a Siamese backbone for feature embedding, SiamKPN benefits from a cascade heatmap strategy for coarse-to-fine prediction modeling. In particular, the strategy is implemented by sequentially shrinking the coverage of the label heatmap along the cascade to apply loose-to-strict intermediate supervisions. During inference, we find the predicted heatmaps of successive stages to be gradually concentrated to the target and reduced to the distractors. SiamKPN performs well against state-of-the-art trackers for visual object tracking on four benchmark datasets including OTB-100, VOT2018, LaSOT and GOT-10k, while running at real-time speed.

研究动机与目标

• 为解决现有孪生跟踪器严重依赖复杂锚框设计或难以有效处理干扰物的问题。
• 通过端到端、离线训练与结构化监督，实现无需在线模型更新的跟踪鲁棒性与精度提升。
• 探索一种无锚框、基于级联的预测策略，通过分层热力图监督逐步优化目标定位。
• 在保持高性能的同时，实现实时推理速度，适用于包含遮挡和尺度变化等复杂条件的多样化跟踪基准。

提出的方法

• 采用基于 ResNet-50 的孪生主干网络，从模板区域和搜索区域提取共享特征。
• 引入一系列紧凑的关键点预测（KPN）头，每个头使用标准卷积和深度可分离互相关操作生成响应图。
• 在热力图监督中采用渐缩方差策略：初始阶段使用更宽泛（宽松）的标签，逐步收紧为后期阶段的严格、目标定位精确的标签。
• 在训练中使用多任务损失，联合优化定位精度与鲁棒性，监督在多个阶段同时施加。
• 利用主干网络多个层级的特征，增强跨尺度的表征学习。
• 在推理阶段，连续阶段预测的热力图逐渐聚焦于目标并抑制干扰物，从而实现精确的目标定位。

实验结果

研究问题

• RQ1 通过逐步收紧监督的级联热力图头，能否提升孪生跟踪中定位的准确率与鲁棒性？
• RQ2 无锚框的关键点预测策略在泛化能力与效率方面是否优于基于锚框的方法？
• RQ3 从宽松到严格的中间监督能否有效引导各阶段的目标定位优化？
• RQ4 完全离线训练的孪生模型在多大程度上可实现与在线更新跟踪器相当或更优的性能？
• RQ5 在遮挡、背景杂乱和尺度变化等复杂条件下，所提方法的性能表现如何？

主要发现

• 在 OTB-100 上，SiamKPN-3s 的成功率为 0.712，精度为 0.927，相比 SiamRPN++ 在精度上相对提升 4.7%。
• 在 VOT2018 上，SiamKPN-3s 的 EAO 得分为 0.440，优于 SiamRPN++，甚至超过具备在线学习能力的 ATOM 跟踪器。
• 在 GOT-10k 上，SiamKPN-3s 在无在线更新的跟踪器中取得最高的 SR_{0.75}（0.362）与 AO（0.529），相比 SiamRPN++ 分别相对提升 10% 和 2.3%。
• 消融实验表明，与固定方差相比，渐缩方差策略在 OTB-100 上使成功率提升 0.007，精度提升 0.011。
• SiamKPN-3s 在 VOT2018 上实现 24 FPS 的推理速度，证明其在多阶段优化下仍具备实时推理能力。
• SiamKPN 的单阶段版本已达到与 SiamRPN++ 相当的性能，表明其具备强大的基线能力。