[论文解读] Simple Online and Realtime Tracking with a Deep Association Metric

Nicolai Wojke, Alex Bewley+1 more|arXiv (Cornell University)|Mar 21, 2017

Video Surveillance and Tracking Methods参考文献 17被引用 119

一句话总结

扩展 SORT 以深度外观度量来改进在线多对象跟踪；使用预训练 CNN 作为外观描述符，并采用匹配等级级联以在保持实时性能的同时将身份切换减少约 45%。

ABSTRACT

Simple Online and Realtime Tracking (SORT) is a pragmatic approach to multiple object tracking with a focus on simple, effective algorithms. In this paper, we integrate appearance information to improve the performance of SORT. Due to this extension we are able to track objects through longer periods of occlusions, effectively reducing the number of identity switches. In spirit of the original framework we place much of the computational complexity into an offline pre-training stage where we learn a deep association metric on a large-scale person re-identification dataset. During online application, we establish measurement-to-track associations using nearest neighbor queries in visual appearance space. Experimental evaluation shows that our extensions reduce the number of identity switches by 45%, achieving overall competitive performance at high frame rates.

研究动机与目标

• 通过引入外观信息提高对遮挡的在线多对象跟踪鲁棒性。
• 保持与 SORT 相当的简单性和实时性能。
• 利用离线训练好的深度外观特征来指导在线数据关联。
• 在 MOT16 上评估以量化身份切换和整体跟踪指标的下降。

提出的方法

• 维持基于卡尔曼滤波的单假设跟踪并逐帧进行数据关联。
• 整合两种数据关联度量： (i) 用于运动门控的马氏距离； (ii) 在外观空间中使用深度 CNN 描述符的余弦距离。
• 计算组合代价 c_{i,j} = lambda * d^(1)(i,j) + (1 - lambda) * d^(2)(i,j) 并用两种度量对关联进行门控。
• 使用优先考虑昨时观察到的轨迹的匹配级联系统来解决一系列子问题并减少碎裂。
• 使用深度 CNN 从裁剪的边界框生成 128 维的 L2 归一化外观描述符；特征在大规模人物 re-id 数据集上训练；在线最近邻在外观空间进行匹配。
• 提供预训练的 CNN 模型和特征提取代码以实现在线跟踪。

实验结果

研究问题

• RQ1 离线学习的外观信息能否在不牺牲实时速度的前提下提高 SORT 的在线跟踪性能？
• RQ2 应如何将运动和外观线索融合以在遮挡和检测丢失时最大化身份保持？
• RQ3 外观基础的数据关联对在线跟踪中的身份切换和轨迹碎裂有何影响？
• RQ4 在 MOT16 上使用标准检测，扩展后的 SORT 是否具有与最先进的在线跟踪器竞争力？

主要发现

MOTA	MOTP	MT	ML	ID	FM	FP	FN	运行时
61.4	79.1	32.8%	18.2%	781	2008	12852	56668	40 Hz

• 身份切换从 SORT 的 1423 降至 Deep SORT 的 781，降幅约 45%。
• Deep SORT 在降低身份切换的同时实现有竞争力的 MOT 指标，并维持约 20 Hz 的在线处理速度。
• 在 MOT16 结果中，Deep SORT（在线）报告 MOTA 61.4, MOTP 79.1, MT 32.8%, ML 18.2%, ID 781, FM 2008, FP 12852, FN 56668, Runtime 40 Hz。
• 通过利用外观信息，在更长的遮挡期间保持身份。
• 在有可用的 GPU 资源时，该方法足够实现实时使用，特征提取大约占用一半的时间。