[论文解读] Towards Real-Time Multi-Object Tracking

Zhongdao Wang, Liang Zheng+3 more|arXiv (Cornell University)|Sep 27, 2019

Video Surveillance and Tracking Methods参考文献 45被引用 32

一句话总结

本文提出联合检测与嵌入（JDE），一种单阶段深度学习框架，通过在单一网络中联合学习目标检测与外观嵌入，实现在22–40 FPS下近乎实时的多目标跟踪，MOTA得分与最先进分离检测与嵌入（SDE）方法相当（MOT-16数据集上为64.4% MOTA）。

ABSTRACT

Modern multiple object tracking (MOT) systems usually follow the \emph{tracking-by-detection} paradigm. It has 1) a detection model for target localization and 2) an appearance embedding model for data association. Having the two models separately executed might lead to efficiency problems, as the running time is simply a sum of the two steps without investigating potential structures that can be shared between them. Existing research efforts on real-time MOT usually focus on the association step, so they are essentially real-time association methods but not real-time MOT system. In this paper, we propose an MOT system that allows target detection and appearance embedding to be learned in a shared model. Specifically, we incorporate the appearance embedding model into a single-shot detector, such that the model can simultaneously output detections and the corresponding embeddings. We further propose a simple and fast association method that works in conjunction with the joint model. In both components the computation cost is significantly reduced compared with former MOT systems, resulting in a neat and fast baseline for future follow-ups on real-time MOT algorithm design. To our knowledge, this work reports the first (near) real-time MOT system, with a running speed of 22 to 40 FPS depending on the input resolution. Meanwhile, its tracking accuracy is comparable to the state-of-the-art trackers embodying separate detection and embedding (SDE) learning ($64.4\%$ MOTA \vs $66.1\%$ MOTA on MOT-16 challenge). Code and models are available at \url{https://github.com/Zhongdao/Towards-Realtime-MOT}.

研究动机与目标

• 解决现有多目标跟踪（MOT）系统中检测与外观嵌入处理为独立、顺序步骤所导致的高推理延迟问题。
• 克服两阶段检测器（如Faster R-CNN）和实时关联方法的速度限制，仍无法实现真正的实时性能。
• 开发一种统一的、端到端可训练框架，通过在检测与嵌入任务间共享底层特征，减少冗余计算。
• 通过高效网络结构设计、多任务学习与动态损失加权，建立新的实时MOT基线。
• 对联合学习组件（训练数据、网络结构、损失函数、优化策略与评估指标）进行综合分析，为未来研究提供指导。

提出的方法

• 通过在特征金字塔网络（FPN）上添加轻量级嵌入头，将外观嵌入学习直接集成到单阶段检测器（如基于YOLO的模型）中，实现实时输出边界框与嵌入向量。
• 将训练过程建模为包含三个目标的多任务学习问题：锚框分类、边界框回归与嵌入学习。
• 利用任务相关不确定性动态平衡异构损失（分类、回归与度量学习），以提升训练稳定性和性能。
• 设计一种快速、轻量级的关联算法，利用联合嵌入实现高效的数据关联，降低跟踪流水线中的计算开销。
• 通过整合六个公开的行人检测与行人检索数据集，构建大规模统一多标签数据集，包含边界框与部分身份标注。
• 通过消除冗余特征提取并复用检测与嵌入分支之间的共享特征，优化推理速度。

实验结果

研究问题

• RQ1 在单阶段网络中联合学习检测与外观嵌入，是否能在保持竞争性跟踪精度的同时实现实时推理？
• RQ2 与分离检测与嵌入（SDE）方法相比，联合训练模型在MOTA、IDF1与ID切换次数方面的性能表现如何？
• RQ3 基于不确定性的多任务学习与损失加权对联合检测与嵌入特征质量有何影响？
• RQ4 在不同输入分辨率下，以及在行人重叠严重的复杂场景中，所提出的联合框架性能表现如何？
• RQ5 JDE中的ID切换在多大程度上源于检测错误，而非嵌入质量较弱？

主要发现

• 所提出的JDE系统在1088×608分辨率下达到22.2 FPS，最高可达864×408分辨率下的30.3 FPS，是首个具备竞争性精度的（近）实时MOT系统。
• JDE在MOT-16基准上实现64.4% MOTA，与最先进SDE方法（66.1% MOTA）相当，尽管速度显著更快。
• JDE的IDF1得分低于部分SDE方法，但消融实验表明，这主要源于拥挤场景中检测框不准确，而非嵌入能力弱。
• 将联合嵌入替换为独立训练的re-ID模型，并未提升IDF1或减少ID切换，证实检测错误是跟踪不稳定的根本原因。
• 检索性能可视化结果表明，通过JDE学习到的密集嵌入相比仅使用检测特征图，能提供更好的空间对应性。
• 即使考虑估计的运行时间与未报告的嵌入推理时间，JDE的运行时上限仍比现有方法快至少2–3倍。