[论文解读] Re3 : Real-Time Recurrent Regression Networks for Object Tracking.

Daniel Gordon, Ali Farhadi+1 more|arXiv (Cornell University)|May 17, 2017

Video Surveillance and Tracking Methods参考文献 45被引用 28

一句话总结

Re3 是一种实时深度目标追踪器，采用轻量级循环回归网络，在追踪过程中通过单次前向传播持续更新外观模型，实现了 150 FPS 的速度，并在遮挡密集的序列上相比最先进方法表现出更优性能。

ABSTRACT

Robust object tracking requires knowledge and understanding of the object being tracked: its appearance, its motion, and how it changes over time. A tracker must be able to modify its underlying model and adapt to new observations. We present Re3, a real-time deep object tracker capable of incorporating temporal information into its model. Rather than focusing on a limited set of objects or training a model at test-time to track a specific instance, we pretrain our generic tracker on a large variety of objects and efficiently update on the fly; Re3 simultaneously tracks and updates the appearance model with a single forward pass. This lightweight model is capable of tracking objects at 150 FPS, while attaining competitive results on challenging benchmarks. We also show that our method handles temporary occlusion better than other comparable trackers using experiments that directly measure performance on sequences with occlusion.

研究动机与目标

• 开发一种能够高效将时间信息整合到模型中的实时目标追踪器。
• 实现在无需重新训练或针对特定实例微调的情况下，对外观模型进行在线自适应。
• 提升在具有挑战性的追踪序列中对临时遮挡的鲁棒性。
• 在保持基准数据集上竞争性追踪精度的同时，实现高速推理。

提出的方法

• Re3 使用循环回归网络来建模目标外观和运动中的时间依赖性。
• 追踪器使用预训练的通用模型，并通过单次前向传播的在线推理实现实时更新。
• 轻量级架构使得在标准硬件上实现 150 FPS 的高速推理成为可能。
• 通过保持时间上下文的循环机制，将外观特征与运动特征进行融合。
• 网络在多样化的目标类别上进行端到端训练，以实现对各类追踪场景的泛化能力。
• 通过在推理过程中使用流式观测数据更新模型参数，实现在线自适应。

实验结果

研究问题

• RQ1 深度追踪器是否能在持续更新外观模型的同时保持实时性能？
• RQ2 引入循环时间建模如何提升对临时遮挡的鲁棒性？
• RQ3 通用预训练模型是否能在无需实例特定适应的情况下，实现跨多样化追踪序列的竞争力表现？
• RQ4 在目标追踪的在线外观模型更新中，速度与精度之间的权衡关系如何？

主要发现

• Re3 实现了 150 FPS 的推理速度，适用于实时应用。
• 与最先进方法相比，该追踪器在包含临时遮挡的序列上表现出更优性能。
• 尽管模型设计轻量化，该方法在标准基准测试上仍保持了具有竞争力的精度。
• 单次前向传播的在线更新机制实现了高效且持续的模型自适应。
• 预训练的通用模型在无需微调的情况下，对多样化目标类别具有良好的泛化能力。
• 循环架构有效捕捉了长期时间依赖性，提升了追踪的稳定性。