[论文解读] Video object tracking based on YOLOv7 and DeepSORT

Feng Yang, Xingle Zhang+1 more|arXiv (Cornell University)|Jul 25, 2022

Video Surveillance and Tracking Methods被引用 46

一句话总结

该论文提出 YOLOv7-DeepSORT，在 DeepSORT 框架中将 YOLOv5 替换为 YOLOv7，以实现多目标跟踪，并在 MOT16 上与 YOLOv5-DeepSORT相比，展示了更高的跟踪准确性。

ABSTRACT

Multiple object tracking (MOT) is an important technology in the field of computer vision, which is widely used in automatic driving, intelligent monitoring, behavior recognition and other directions. Among the current popular MOT methods based on deep learning, Detection Based Tracking (DBT) is the most widely used in industry, and the performance of them depend on their object detection network. At present, the DBT algorithm with good performance and the most widely used is YOLOv5-DeepSORT. Inspired by YOLOv5-DeepSORT, with the proposal of YOLOv7 network, which performs better in object detection, we apply YOLOv7 as the object detection part to the DeepSORT, and propose YOLOv7-DeepSORT. After experimental evaluation, compared with the previous YOLOv5-DeepSORT, YOLOv7-DeepSORT performances better in tracking accuracy.

研究动机与目标

• 在检测为基础的跟踪（DBT）框架中激发并提升多目标跟踪（MOT）性能。
• 利用 YOLOv7 的优越检测能力在 DeepSORT 内提高跟踪准确性。
• 在标准 MOT16 序列上提供与 YOLOv5-DeepSORT 的实证比较。

提出的方法

• 将 YOLOv7 集成为 DeepSORT 跟踪管线中的对象检测器。
• 分别训练 YOLOv7 和基于 ReID 的外观模型。
• 使用卡尔曼滤波进行运动预测，使用匈牙利算法进行数据关联。
• 结合 DeepSORT 的匹配级联和外观特征以减少 ID 切换（ID switches）。

实验结果

研究问题

• RQ1 在 MOT16 上，将 DeepSORT 中的 YOLOv5 替换为 YOLOv7 是否能提高 MOT 准确性和身份保留？
• RQ2 在不同的 YOLOv5 模型尺寸（s/m/l）下，YOLOv7-DeepSORT 与 YOLOv5-DeepSORT 在 MOTA、MOTP 和 IDF1 方面有何差异？
• RQ3 检测骨干网络对检测基 MOT 系统中的 IDs、ID 切换以及跟踪生命周期指标（ML/MT/FP/FN）的影响是什么？

主要发现

模型	MOTA	MOTP	IDF1	IDs	ML	MT	FP	FN
YOLOv5s	39.60	80.85	52.39	432	39.65%	15.45%	5375	60882
YOLOv5m	39.01	81.87	51.56	432	33.27%	17.41%	7612	59297
YOLOv5l	40.77	81.96	52.43	547	31.92%	20.70%	7853	56990
YOLOv7	40.82	82.01	53.65	514	32.11%	20.12%	7940	57434

• YOLOv7-DeepSORT 在 MOT16 序列上实现了比 YOLOv5-DeepSORT 更高的 MOTA、MOTP 和 IDF1。
• ID 切换数量少于 YOLOv5l，表明身份保留有所改进。
• 在各种 YOLOv5 主干网络下，YOLOv7-DeepSORT 显示出更好的跟踪性能，尤其在 MOTA 和 IDF1 上有显著提升。
• 改进伴随在 MT/ML 和 FP/FN 计数方面的可比或可接受的变化。