[论文解读] Tracking Holistic Object Representations

Axel Sauer, Elie Aljalbout+1 more|arXiv (Cornell University)|Jul 21, 2019

Video Surveillance and Tracking Methods被引用 17

一句话总结

本文提出了一种即插即用的框架，通过在孪生特征空间中保持多样化的物体模板，提升视觉追踪器的鲁棒性和准确性，且无需微调主干网络。该方法在不使用更复杂网络架构的情况下，在基准测试中实现了最先进性能，运行速度比当前最先进方法快三倍。

ABSTRACT

Recent advances in visual tracking are based on siamese feature extractors and template matching. For this category of trackers, latest research focuses on better feature embeddings and similarity measures. In this work, we focus on building holistic object representations for tracking. We propose a framework that is designed to be used on top of previous trackers without any need for further training of the siamese network. The framework leverages the idea of obtaining additional object templates during the tracking process. Since the number of stored templates is limited, our method only keeps the most diverse ones. We achieve this by providing a new diversity measure in the space of siamese features. The obtained representation contains information beyond the ground truth object location provided to the system. It is then useful for tracking itself but also for further tasks which require a visual understanding of objects. Strong empirical results on tracking benchmarks indicate that our method can improve the performance and robustness of the underlying trackers while barely reducing their speed. In addition, our method is able to match current state-of-the-art results, while using a simpler and older network architecture and running three times faster.

研究动机与目标

• 通过构建超越真实边界框的完整物体表征，提升视觉追踪器的性能。
• 使现有孪生追踪器能够在推理过程中通过动态模板收集获益，而无需重新训练。
• 在特征空间中引入新颖的多样性度量，以在保持高速追踪的同时提升鲁棒性。
• 通过融入上下文和结构信息，丰富物体表征，以支持下游视觉理解任务。

提出的方法

• 该框架通过从不同空间位置和尺度采样特征，在追踪过程中收集额外的物体模板。
• 通过在孪生特征空间中使用新的多样性度量，仅保留最多样化的模板，从而维持固定大小的模板记忆库。
• 多样性通过一种基于距离的准则进行度量，用于量化孪生网络嵌入空间中特征的差异性。
• 该方法作为插件模块集成在现有追踪器之上，无需对孪生特征提取器进行微调或重新训练。
• 最终表征将原始模板与所选的多样化模板结合，形成完整的物体模型。
• 该方法设计计算高效，保持了底层追踪器的运行速度。

实验结果

研究问题

• RQ1 在不微调孪生主干网络的前提下，动态模板收集能否提升追踪性能？
• RQ2 基于多样性的模板选择策略在孪生特征空间中，对增强物体表征有多有效？
• RQ3 轻量级、即插即用的模块在标准基准上，能在多大程度上提升追踪器的鲁棒性和准确性？
• RQ4 当结合完整表征时，更简单、更老旧的网络架构能否实现最先进性能？
• RQ5 与当前最先进追踪器相比，所提出方法在速度和准确性方面表现如何？

主要发现

• 所提出的框架在不重新训练的前提下，显著提升了多个基准数据集上底层追踪器的性能和鲁棒性。
• 该方法在标准追踪基准上实现了最先进结果，且使用了更简单、更老旧的网络架构。
• 尽管性能匹配或超过当前最先进方法，该框架的运行速度比当前最先进追踪器快三倍。
• 孪生特征空间中的多样性度量能有效捕捉结构和上下文变化，从而增强物体表征。
• 即插即用的设计使该方法能无缝集成到现有追踪器中，保持其推理速度的同时提升准确性。
• 实验结果表明，在遮挡和运动模糊等挑战性场景下，追踪准确性有显著提升。