[论文解读] Robust Visual Tracking via Hierarchical Convolutional Features

Chao Ma, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Jul 12, 2017

Video Surveillance and Tracking Methods参考文献 62被引用 17

一句话总结

本文提出了一种基于深度神经网络层次卷积特征的鲁棒视觉跟踪方法。通过在多个CNN层上学习自适应相关滤波器以实现从粗到精的定位，并采用长期记忆滤波器进行尺度估计和重新检测，该方法在基准数据集上实现了最先进水平的准确性和鲁棒性，在跟踪性能和计算效率方面均优于现有跟踪器。

ABSTRACT

In this paper, we propose to exploit the rich hierarchical features of deep convolutional neural networks to improve the accuracy and robustness of visual tracking. Deep neural networks trained on object recognition datasets consist of multiple convolutional layers. These layers encode target appearance with different levels of abstraction. For example, the outputs of the last convolutional layers encode the semantic information of targets and such representations are invariant to significant appearance variations. However, their spatial resolutions are too coarse to precisely localize the target. In contrast, features from earlier convolutional layers provide more precise localization but are less invariant to appearance changes. We interpret the hierarchical features of convolutional layers as a nonlinear counterpart of an image pyramid representation and explicitly exploit these multiple levels of abstraction to represent target objects. Specifically, we learn adaptive correlation filters on the outputs from each convolutional layer to encode the target appearance. We infer the maximum response of each layer to locate targets in a coarse-to-fine manner. To further handle the issues with scale estimation and re-detecting target objects from tracking failures caused by heavy occlusion or out-of-the-view movement, we conservatively learn another correlation filter, that maintains a long-term memory of target appearance, as a discriminative classifier. We apply the classifier to two types of object proposals: (1) proposals with a small step size and tightly around the estimated location for scale estimation; and (2) proposals with large step size and across the whole image for target re-detection. Extensive experimental results on large-scale benchmark datasets show that the proposed algorithm performs favorably against state-of-the-art tracking methods.

研究动机与目标

• 解决在大外观变化、遮挡和背景杂波条件下的视觉跟踪挑战。
• 克服仅使用CNN最后一层进行跟踪的局限性，该方法虽具备语义不变性但缺乏空间精度。
• 通过利用层次卷积特征的多级抽象提升鲁棒性和准确性。
• 开发一种高效、在线的跟踪框架，避免对正负样本进行大量采样。
• 通过长期记忆分类器实现在跟踪失败后的可靠尺度估计和重新检测。

提出的方法

• 利用预训练CNN（如VGGNet）多个卷积层的特征图，在不同抽象层次上表示目标。
• 在每一层的特征图上训练线性相关滤波器，通过响应图预测目标位置，实现从粗到精的定位。
• 使用经验调优的软权重组合不同层的响应，以平衡语义鲁棒性与空间精度。
• 引入一个在判别性分类器上训练的长期记忆相关滤波器，用于在失败后检测目标。
• 生成两类区域提议：用于尺度估计的紧密尺度提议（小步长）和用于重新检测的宽范围提议（大步长），使用EdgeBox生成。
• 分别从每类提议中选择置信度最高的作为最终的尺度估计和重新检测估计。

实验结果

研究问题

• RQ1 与仅使用最后一层相比，利用多个CNN层的层次特征是否能提升跟踪的准确性和鲁棒性？
• RQ2 在相关滤波框架中，如何通过多级特征表示有效实现从粗到精的定位？
• RQ3 长期记忆分类器是否能在不依赖大量在线采样的前提下，提升失败后的尺度估计和重新检测性能？
• RQ4 在遮挡、形变和背景杂波等挑战性条件下，该方法的性能如何？
• RQ5 该方法是否能在保持最先进性能的同时实现高效率，适用于实时跟踪？

主要发现

• 所提出的HCFT*跟踪器在VOT2015数据集上鲁棒性排名第二，总体重叠度排名第三，优于许多最先进方法。
• 在OTB2013和OTB2015基准测试中，HCFT*在准确性和鲁棒性方面优于现有跟踪器，包括使用端到端深度学习的方法。
• HCFT*运行速度达6.7 FPS，显著快于MDNet的1.2 FPS，表明其在保持强大性能的同时具备高计算效率。
• 通过利用深层特征的语义信息，该方法在外观变化和部分遮挡情况下表现出更强的鲁棒性。
• 失败案例揭示了在处理大尺度变化和平面内旋转方面仍存在局限，表明在提议生成和几何建模方面仍有改进空间。
• 采用层次特征间的软权重融合相比硬权重或单层方法，能有效减少漂移并提升定位精度。