[论文解读] UCT: Learning Unified Convolutional Networks for Real-time Visual Tracking

Zheng Zhu, Guan Huang+3 more|arXiv (Cornell University)|Nov 10, 2017

Video Surveillance and Tracking Methods被引用 12

一句话总结

本文提出统一卷积网络（UCT），一种端到端、实时的视觉跟踪框架，通过完全卷积架构联合学习特征提取与跟踪。通过将特征提取和跟踪均视为联合训练的卷积操作，UCT在OTB2015和VOT2015上实现了最先进（SOTA）的精度，同时保持了41 FPS（标准UCT）和154 FPS（UCT-Lite）的实时速度。

ABSTRACT

Convolutional neural networks (CNN) based tracking approaches have shown favorable performance in recent benchmarks. Nonetheless, the chosen CNN features are always pre-trained in different task and individual components in tracking systems are learned separately, thus the achieved tracking performance may be suboptimal. Besides, most of these trackers are not designed towards real-time applications because of their time-consuming feature extraction and complex optimization details.In this paper, we propose an end-to-end framework to learn the convolutional features and perform the tracking process simultaneously, namely, a unified convolutional tracker (UCT). Specifically, The UCT treats feature extractor and tracking process both as convolution operation and trains them jointly, enabling learned CNN features are tightly coupled to tracking process. In online tracking, an efficient updating method is proposed by introducing peak-versus-noise ratio (PNR) criterion, and scale changes are handled efficiently by incorporating a scale branch into network. The proposed approach results in superior tracking performance, while maintaining real-time speed. The standard UCT and UCT-Lite can track generic objects at 41 FPS and 154 FPS without further optimization, respectively. Experiments are performed on four challenging benchmark tracking datasets: OTB2013, OTB2015, VOT2014 and VOT2015, and our method achieves state-of-the-art results on these benchmarks compared with other real-time trackers.

研究动机与目标

• 解决现有基于CNN的跟踪器使用预训练特征以及组件分开训练所带来的次优性能问题。
• 通过消除耗时的特征提取和复杂的优化过程，克服深度跟踪器的低效性。
• 通过将特征学习与跟踪统一为单一端到端框架，实现实时高精度视觉跟踪。
• 引入高效的在线模型更新和尺度处理机制，以在不牺牲鲁棒性的情况下保持速度。
• 在标准基准上实现SOTA性能的同时实现实时运行，这与大多数先前的深度跟踪器不同。

提出的方法

• 将特征提取器和跟踪过程均视为统一的全卷积网络架构中的卷积操作。
• 端到端训练整个网络，使CNN特征通过联合优化与跟踪任务紧密耦合。
• 引入信噪比（PNR）准则，以在推理过程中实现高效的在线模型更新。
• 在网络中引入尺度分支，以在不增加额外计算或外部模块的情况下处理尺度变化。
• 使用单次前向传播预测完整的响应图，从而实现快速推理和实时性能。
• 设计两种变体：标准UCT（ResNet-101主干）和UCT-Lite（ZF-Net主干），以实现速度与精度之间的权衡。

实验结果

研究问题

• RQ1 与分别训练特征提取器和跟踪器相比，统一卷积网络的端到端训练是否能提升跟踪精度？
• RQ2 统一网络架构是否能在实现SOTA性能的同时保持实时推理速度？
• RQ3 基于PNR的在线更新策略在长期跟踪过程中是否能有效维持跟踪器的鲁棒性？
• RQ4 集成到网络中的尺度分支是否能有效处理尺度变化而不降低速度或精度？
• RQ5 统一训练范式是否能生成更优的特征表示，使其特别适配于跟踪任务？

主要发现

• 在OTB2015上，UCT的成功得分为0.611，显著优于SiamFC（0.582）和Staple（0.581）。
• 在VOT2014上，UCT在精确初始化条件下在准确率和鲁棒性上均排名第二，并在鲁棒性方面优于三种实时跟踪器（GOTURN、SiamFC、Staple）。
• 在VOT2015上，UCT的EAO得分为0.445，总体排名第7，且是唯一在实时运行（速度 > 5 FPS）条件下表现优异的顶级跟踪器。
• 标准UCT在通用物体上以41 FPS运行，UCT-Lite以154 FPS运行，无需进一步优化，展现出强大的实时性能。
• UCT在处理光照变化、遮挡和尺度变化等挑战性属性方面表现优异，OTB2015的详细分析证实了这一点。
• 消融实验表明，端到端训练和基于PNR的更新策略显著提升了跟踪性能和稳定性。