[论文解读] Robust Visual Tracking via Convolutional Networks

Kaihua Zhang, Qingshan Liu+2 more|arXiv (Cornell University)|Jan 19, 2015

Video Surveillance and Tracking Methods参考文献 44被引用 18

一句话总结

本文提出了一种轻量级两层卷积网络跟踪器（CNT），该跟踪器通过k-means提取的滤波器，直接从第一帧的目标对象中学习判别性、稀疏且鲁棒的视觉表征。通过利用自适应上下文滤波和软阈值收缩来捕捉局部结构与几何布局信息以实现去噪，CNT在无需离线预训练的情况下，在CVPR2013基准上实现了最先进性能，优于多种先进方法，在处理遮挡、尺度变化和光照变化方面表现更优。

ABSTRACT

Deep networks have been successfully applied to visual tracking by learning a generic representation offline from numerous training images. However the offline training is time-consuming and the learned generic representation may be less discriminative for tracking specific objects. In this paper we present that, even without offline training with a large amount of auxiliary data, simple two-layer convolutional networks can be powerful enough to develop a robust representation for visual tracking. In the first frame, we employ the k-means algorithm to extract a set of normalized patches from the target region as fixed filters, which integrate a series of adaptive contextual filters surrounding the target to define a set of feature maps in the subsequent frames. These maps measure similarities between each filter and the useful local intensity patterns across the target, thereby encoding its local structural information. Furthermore, all the maps form together a global representation, which is built on mid-level features, thereby remaining close to image-level information, and hence the inner geometric layout of the target is also well preserved. A simple soft shrinkage method with an adaptive threshold is employed to de-noise the global representation, resulting in a robust sparse representation. The representation is updated via a simple and effective online strategy, allowing it to robustly adapt to target appearance variations. Our convolution networks have surprisingly lightweight structure, yet perform favorably against several state-of-the-art methods on the CVPR2013 tracking benchmark dataset with 50 challenging videos.

研究动机与目标

• 开发一种不依赖大规模离线预训练及辅助数据的鲁棒视觉跟踪方法。
• 利用目标的局部结构与几何布局信息，提升对背景的判别能力。
• 设计一种轻量级、可在线自适应的表征，有效应对光照变化、遮挡和尺度偏移等外观变化。
• 证明简单两层卷积网络无需复杂架构或预训练模型即可实现具有竞争力的跟踪性能。

提出的方法

• 通过k-means聚类对第一帧目标区域提取的归一化图像块进行滤波器学习，形成后续帧使用的固定滤波器。
• 同时从目标周围上下文区域提取一组归一化图像块，并用作额外滤波器，以捕捉自适应上下文信息。
• 通过将这些滤波器与后续帧中归一化的图像块进行卷积，生成特征图，编码局部强度模式与结构细节。
• 将生成的特征图组合成一个全局、中级表征，保留目标内部几何布局与图像级结构。
• 采用具有自适应阈值的软阈值收缩方法对全局表征进行去噪，生成鲁棒且稀疏的特征向量。
• 通过简单策略在线更新表征，以适应外观变化，实现实时鲁棒性。

实验结果

研究问题

• RQ1 轻量级两层卷积网络是否能在不依赖大规模辅助数据离线预训练的情况下实现具有竞争力的跟踪性能？
• RQ2 基于局部结构与几何布局信息的表征在外观变化下对跟踪的有效性如何？
• RQ3 k-means学习的滤波器与随机滤波器相比，在跟踪鲁棒性中的贡献分别是什么？
• RQ4 软阈值收缩如何提升特征表征的稀疏性与抗噪能力？
• RQ5 在线更新策略在尺度变化与遮挡条件下能多大程度上保持跟踪精度？

主要发现

• 所提出的CNT在CVPR2013基准上取得了0.545的AUC得分，显著优于DLT基线及其他最先进方法，在应对复杂跟踪挑战方面表现更优。
• 移除软阈值收缩组件后，AUC得分降至0.469，证明其在噪声抑制与表征鲁棒性方面具有关键作用。
• 将k-means学习的滤波器替换为随机图像块后，AUC得分下降约7%，证实了判别性滤波器选择的重要性。
• 在david、freeman3和singer1等序列中，CNT成功跟踪了严重尺度变化的目标，而KCF、Struck和VTS因尺度估计错误而失败。
• 在严重遮挡场景（如jogging-1、suv、woman）中，CNT的跟踪性能优于大多数竞争方法，能在部分或完全遮挡后重新检测目标。
• 由于未使用池化层，该方法保持了高空间分辨率与几何布局信息，这对跟踪中的精确定位至关重要。