[论文解读] Semantic tracking: Single-target tracking with inter-supervised convolutional networks

Jingjing Xiao, Qiang Lan+2 more|arXiv (Cornell University)|Nov 19, 2016

Video Surveillance and Tracking Methods参考文献 13被引用 3

一句话总结

本文提出了一种语义追踪器，通过统一的卷积神经网络架构联合执行单目标追踪与物体类别识别。通过将共享特征提取器与类别特定的分类和追踪分支相结合，并使其相互监督，该追踪器在OTB-100基准上实现了最先进性能，AUC得分为0.572，优于38种现有方法。

ABSTRACT

This article presents a semantic tracker which simultaneously tracks a single target and recognises its category. In general, it is hard to design a tracking model suitable for all object categories, e.g., a rigid tracker for a car is not suitable for a deformable gymnast. Category-based trackers usually achieve superior tracking performance for the objects of that specific category, but have difficulties being generalised. Therefore, we propose a novel unified robust tracking framework which explicitly encodes both generic features and category-based features. The tracker consists of a shared convolutional network (NetS), which feeds into two parallel networks, NetC for classification and NetT for tracking. NetS is pre-trained on ImageNet to serve as a generic feature extractor across the different object categories for NetC and NetT. NetC utilises those features within fully connected layers to classify the object category. NetT has multiple branches, corresponding to multiple categories, to distinguish the tracked object from the background. Since each branch in NetT is trained by the videos of a specific category or groups of similar categories, NetT encodes category-based features for tracking. During online tracking, NetC and NetT jointly determine the target regions with the right category and foreground labels for target estimation. To improve the robustness and precision, NetC and NetT inter-supervise each other and trigger network adaptation when their outputs are ambiguous for the same image regions (i.e., when the category label contradicts the foreground/background classification). We have compared the performance of our tracker to other state-of-the-art trackers on a large-scale tracking benchmark (100 sequences)---the obtained results demonstrate the effectiveness of our proposed tracker as it outperformed other 38 state-of-the-art tracking algorithms.

研究动机与目标

• 解决依赖于外观和运动一致性等启发式假设的无类别追踪器的局限性。
• 克服仅针对特定物体类型的类别追踪器在泛化能力上的不足。
• 开发一种统一框架，利用通用特征与类别特定特征，实现鲁棒且可泛化的追踪。
• 实现在无需初始化时已知目标类别的前提下，在线联合分类与追踪。
• 通过在推理过程中分类与追踪网络之间的相互监督，提升追踪鲁棒性。

提出的方法

• 使用在ImageNet上预训练的共享卷积网络（NetS）提取跨物体类别的通用特征。
• 使用分类网络（NetC）从NetS提取的特征中预测物体类别。
• 部署一个多分支追踪网络（NetT），其中每个分支在特定类别的视频上进行训练，以学习类别特定的前景-背景特征。
• 在在线追踪过程中，NetC识别目标类别，并激活对应NetT分支，利用第一帧中的前景和背景样本进行微调。
• 联合使用NetC和NetT的输出，选择在类别和前景标签上保持一致的图像区域以实现目标定位。
• 当NetC和NetT输出相互矛盾时触发网络自适应，从而在模糊条件下增强鲁棒性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效结合通用特征与类别特定特征，实现单目标追踪？
• RQ2 分类与追踪网络之间的相互监督在多大程度上提升了追踪的鲁棒性与准确性？
• RQ3 语义追踪器在保持高性能的同时，能在多大程度上泛化到多样化的物体类别？
• RQ4 类别识别与追踪的联合学习是否能减少对外观一致性等启发式假设的依赖？
• RQ5 该追踪器在形变、光照变化和遮挡等挑战性视觉条件下表现如何？

主要发现

• 所提出的语义追踪器在OTB-100基准上取得了0.572的AUC得分，优于38种最先进追踪算法。
• 在具有特定属性的子数据集上——形变（DEF）、光照变化（IV）、尺度变化（SV）、快速运动（FM）、视场外（OV）和低分辨率（LR）——该追踪器在所有情况下均取得了最高AUC得分。
• 在光照变化（IV）和图像平面内旋转（OPR）子数据集上，该追踪器分别取得了0.577和0.544的AUC得分，位居第二。
• 在12个子数据集中的9个上超越了第二好的方法（HCF），包括形变和快速运动等最具挑战性的子数据集。
• 失败案例主要出现在伪装场景中，即目标外观与背景高度相似，表明需要引入上下文场景理解能力。
• 相互监督机制在NetC与NetT输出冲突时有效触发网络自适应，显著提升了在模糊区域的鲁棒性。