[论文解读] Real-Time Multiple Object Tracking - A Study on the Importance of Speed

Samuel Murray|arXiv (Cornell University)|Sep 11, 2017

Video Surveillance and Tracking Methods参考文献 6被引用 30

一句话总结

本文提出 C++SORT，一种基于检测跟踪范式、结合运动预测与匈牙利算法关联的实时多目标跟踪器，采用三种基于边界框的相似性度量方法。研究发现，通过跳帧实现的实时性能会使 Okutama-Action 数据集上的跟踪精度最高下降 90%，挑战了标准基准指标在真实场景部署中的有效性。

ABSTRACT

In this project, we implement a multiple object tracker, following the tracking-by-detection paradigm, as an extension of an existing method. It works by modelling the movement of objects by solving the filtering problem, and associating detections with predicted new locations in new frames using the Hungarian algorithm. Three different similarity measures are used, which use the location and shape of the bounding boxes. Compared to other trackers on the MOTChallenge leaderboard, our method, referred to as C++SORT, is the fastest non-anonymous submission, while also achieving decent score on other metrics. By running our model on the Okutama-Action dataset, sampled at different frame-rates, we show that the performance is greatly reduced when running the model - including detecting objects - in real-time. In most metrics, the score is reduced by 50%, but in certain cases as much as 90%. We argue that this indicates that other, slower methods could not be used for tracking in real-time, but that more research is required specifically on this.

研究动机与目标

• 开发一种适用于机器人与监控领域实时应用的快速、高性能多目标跟踪器。
• 探究在使用跳帧以匹配视频帧率时，实时跟踪是否可行。
• 评估帧率降低对跟踪性能的影响，特别是在检测与跟踪在同一硬件上集成时。
• 挑战仅测量跟踪速度而不包含检测时间的常规做法，认为这会扭曲真实世界中的性能表现。
• 揭示低帧率导致的性能下降问题，并倡导开发聚焦于实时跟踪的新基准。

提出的方法

• C++SORT 在 SORT 算法基础上，采用恒定速度运动模型预测下一帧中的目标位置。
• 使用匈牙利算法根据基于位置与形状相似性的代价矩阵，将检测结果与预测轨迹进行关联。
• 实现了三种相似性度量方法：IoU（交并比）、带宽比的 IoU，以及 IoU 与宽高比的组合。
• 跟踪器在检测-跟踪框架下运行，按帧顺序处理目标检测结果。
• 为模拟实时运行，将视频下采样至匹配跟踪器处理速率，并在 Okutama-Action 数据集上评估性能。
• 评估涵盖完整流水线执行（检测与跟踪）在不同帧率下的表现，以评估真实世界性能。

实验结果

研究问题

• RQ1 当使用跳帧以匹配视频帧率时，C++SORT 这类快速跟踪器能否实现实时性能？
• RQ2 当检测与跟踪在低帧率下实时运行时，性能会如何下降？
• RQ3 在速度基准中忽略检测时间在多大程度上扭曲了真实世界跟踪器的性能表现？
• RQ4 低帧率下的性能下降是由于跟踪器设计本身，还是检测质量所致？
• RQ5 外观特征能否缓解低帧率下的性能损失，还是问题具有结构性本质？

主要发现

• C++SORT 是 MOTChallenge 排行榜上最快的非匿名跟踪器，展现出卓越的处理速度。
• 在 Okutama-Action 数据集上，当使用跳帧实现实时运行时，C++SORT 的跟踪性能在某些指标上最高下降 90%。
• 平均而言，当强制跟踪器在实时模式下运行时，大多数指标的性能下降约 50%。
• 研究表明，标准基准结果（在无跳帧的全帧率下测量）并不能代表真实世界中的实时性能。
• 性能下降主要归因于跳帧导致的时间信息丢失，进而影响轨迹关联与连续性。
• 结果表明，若未针对低帧率进行优化或未与高效检测流水线集成，较慢但高精度的跟踪器可能并不适用于实时应用。