[论文解读] Once for All: a Two-flow Convolutional Neural Network for Visual Tracking

Kai Chen, Wenbing Tao|arXiv (Cornell University)|Apr 26, 2016

Video Surveillance and Tracking Methods参考文献 1被引用 7

一句话总结

本文提出 YCNN，一种双流卷积神经网络，将视觉跟踪视为目标区域与搜索区域之间的相似性度量，实现无需在线微调的端到端训练。训练完成后，YCNN 以 45 FPS 的速度对任意目标进行跟踪，准确率处于最先进水平，对遮挡、形变和空间扰动具有更强的鲁棒性。

ABSTRACT

One of the main challenges of visual object tracking comes from the arbitrary appearance of objects. Most existing algorithms try to resolve this problem as an object-specific task, i.e., the model is trained to regenerate or classify a specific object. As a result, the model need to be initialized and retrained for different objects. In this paper, we propose a more generic approach utilizing a novel two-flow convolutional neural network (named YCNN). The YCNN takes two inputs (one is object image patch, the other is search image patch), then outputs a response map which predicts how likely the object appears in a specific location. Unlike those object-specific approach, the YCNN is trained to measure the similarity between two image patches. Thus it will not be confined to any specific object. Furthermore the network can be end-to-end trained to extract both shallow and deep convolutional features which are dedicated for visual tracking. And once properly trained, the YCNN can be applied to track all kinds of objects without further training and updating. Benefiting from the once-for-all model, our algorithm is able to run at a very high speed of 45 frames-per-second. The experiments on 51 sequences also show that our algorithm achieves an outstanding performance.

研究动机与目标

• 解决现有特定目标跟踪模型频繁微调及漂移问题的局限性。
• 开发一种通用、可复用的跟踪框架，无需依赖特定目标的微调。
• 利用浅层和深层网络特征，提升跟踪鲁棒性。
• 实现端到端训练的紧凑 CNN，通过相似性匹配预测目标位置。
• 通过消除跟踪过程中的在线自适应，实现高推理速度。

提出的方法

• YCNN 使用两条并行的卷积流：一条用于目标模板，一条用于搜索区域。
• 将两条流的浅层与深层特征拼接后输入全连接层，生成二维响应图。
• 在 ImageNet 图像块上进行预训练，并通过数据增强（旋转、平移、噪声）模拟外观变化。
• 在真实跟踪序列上进行微调，以适应跟踪特定模式。
• 采用基于置信度的融合框架，根据预测结果的可靠性得分加权多个候选目标区域，提升鲁棒性。
• 跟踪推理过程不包含反向传播，从而实现实时性能，达到 45 FPS。

实验结果

研究问题

• RQ1 是否可以仅训练一次单个 CNN 模型，并应用于任意目标的跟踪而无需重新训练？
• RQ2 双流 CNN 架构能否有效度量目标区域与搜索区域之间的相似性，以实现视觉跟踪？
• RQ3 端到端训练浅层与深层特征是否能提升在外观变化下的跟踪鲁棒性？
• RQ4 该模型能否在保持高推理速度（如 45 FPS）的同时，超越现有跟踪器的准确率与稳定性？
• RQ5 基于置信度的融合机制在遮挡与形变情况下如何提升性能？

主要发现

• 在空间鲁棒性评估（SRE）中，YCNN 的曲线下面积（AUC）得分为 0.569，比第二名的 MEEM 高出 10%。
• 在单次评估（OPE）中，YCNN 在 6 个图表中的 5 个上优于 9 个最先进跟踪器，仅在 MEEM 略占优势。
• 该跟踪器运行速度达 45 帧每秒，显著快于其他基于 CNN 的跟踪器（例如，先前工作仅为 1–3 FPS）。
• YCNN 在应对空间扰动（如初始边界框的平移与缩放）方面表现出更强的鲁棒性。
• 该模型在目标与背景对比度高的序列（如 Skiing、Tiger2）中表现良好，但在背景杂乱的序列（如 Subway、Walking2）中表现较差。
• 基于置信度的融合机制通过加权可靠预测结果，提升了遮挡与形变情况下的跟踪稳定性。