[论文解读] Online and Real-Time Tracking in a Surveillance Scenario

Oliver Urbann, Oliver Bredtmann+4 more|arXiv (Cornell University)|Jun 2, 2021

Video Surveillance and Tracking Methods参考文献 9被引用 10

一句话总结

本文提出LTSiam，一种用于监控场景的实时、在线多目标跟踪方法，采用具有线性时间复杂度的快速孪生网络。通过重新表述基于指纹的关联方式，使用余弦相似度并缓冲检测结果以进行批量推理，该方法在MOT20上实现了SOTA性能（HOTA 68.1，MOTA 67.3，IDF1 71.4），优于所有其他实时跟踪器，同时保持每帧低于30ms的推理时间。

ABSTRACT

This paper presents an approach for tracking in a surveillance scenario. Typical aspects for this scenario are a 24/7 operation with a static camera mounted above the height of a human with many objects or people. The Multiple Object Tracking Benchmark 20 (MOT20) reflects this scenario best. We can show that our approach is real-time capable on this benchmark and outperforms all other real-time capable approaches in HOTA, MOTA, and IDF1. We achieve this by contributing a fast Siamese network reformulated for linear runtime (instead of quadratic) to generate fingerprints from detections. Thus, it is possible to associate the detections to Kalman filters based on multiple tracking specific ratings: Cosine similarity of fingerprints, Intersection over Union, and pixel distance ratio in the image.

研究动机与目标

• 开发一种适用于24/7监控、配备静态摄像头的实时、在线多目标跟踪系统。
• 克服标准孪生网络在跟踪关联中二次时间复杂度的瓶颈。
• 在不依赖运动相机数据的前提下，提升密集场景中的跟踪精度。
• 在超越现有实时跟踪器的同时，保持实时性能。
• 通过将特征提取与关联计算解耦，实现高效、可扩展的推理。

提出的方法

• 该跟踪器为每个轨迹使用卡尔曼滤波器，并通过结合IoU、像素距离比和孪生指纹余弦相似度的代价矩阵分配检测结果。
• LTSiam是一种具有VGG16主干网络和两个全连接层的孪生CNN，将特征压缩至100维，以实现快速余弦相似度计算。
• 网络通过在140万对训练样本上使用随机梯度下降最小化损失，学习预测来自同一人的图像块之间的相似度。
• 为实现线性复杂度，指纹每1–2秒批量预计算一次，从而将推理与跟踪更新解耦。
• 余弦相似度被平方，以将相同向量和相反向量均视为相似，提升对外观变化的鲁棒性。
• 检测结果被缓冲1–2秒，以隐藏GPU推理开销，同时保持在线行为且延迟极低。

实验结果

研究问题

• RQ1 孪生网络能否被重构，以在保持精度的同时实现多目标跟踪的线性复杂度？
• RQ2 在存在大量检测结果的高密度监控场景中，如何维持实时性能？
• RQ3 与传统外观模型相比，使用端到端相似度学习的孪生网络是否能提升跟踪鲁棒性？
• RQ4 在不违反实时约束的前提下，能否在在线跟踪流水线中有效使用指纹的批处理推理？
• RQ5 在MOT20基准上，所提方法与SOTA实时跟踪器相比，在HOTA、MOTA和IDF1指标上的表现如何？

主要发现

• 所提出的LTSiam跟踪器在MOT20基准上实现了68.1的HOTA得分，优于所有其他实时可运行的跟踪器。
• 该跟踪器在MOTA上达到67.3，在IDF1上达到71.4，表明在多个评估指标上均表现出色。
• 该方法保持了实时性能，每帧推理时间低于30ms，支持持续的在线跟踪。
• 采用缓冲批量推理可减少GPU开销，并实现指纹计算的线性O(M)复杂度，其中M为检测数。
• 平方余弦相似度损失通过将相似和相反的特征向量均视为同一身份的指示，提升了鲁棒性。
• 该跟踪器在HOTA和MOTA上优于非实时基线方法，同时实现实时运行，缩小了实时与非实时方法之间的性能差距。