[论文解读] Recent Advances in Embedding Methods for Multi-Object Tracking: A Survey

Gaoang Wang, Mingli Song+1 more|arXiv (Cornell University)|May 22, 2022

Video Surveillance and Tracking Methods被引用 9

一句话总结

本综述对多目标跟踪（MOT）中的嵌入方法进行了全面分析，将其分类为七类——补丁级、单帧、跨帧联合、相关性、序列、轨迹段以及跨轨迹关系嵌入，深入探讨了各类方法的优势、局限性及设计原则。此外，该综述在标准基准上评估了最先进方法，并指出了尚未充分探索的研究方向，包括自监督预训练和辅助学习，以提升模型泛化能力。

ABSTRACT

Multi-object tracking (MOT) aims to associate target objects across video frames in order to obtain entire moving trajectories. With the advancement of deep neural networks and the increasing demand for intelligent video analysis, MOT has gained significantly increased interest in the computer vision community. Embedding methods play an essential role in object location estimation and temporal identity association in MOT. Unlike other computer vision tasks, such as image classification, object detection, re-identification, and segmentation, embedding methods in MOT have large variations, and they have never been systematically analyzed and summarized. In this survey, we first conduct a comprehensive overview with in-depth analysis for embedding methods in MOT from seven different perspectives, including patch-level embedding, single-frame embedding, cross-frame joint embedding, correlation embedding, sequential embedding, tracklet embedding, and cross-track relational embedding. We further summarize the existing widely used MOT datasets and analyze the advantages of existing state-of-the-art methods according to their embedding strategies. Finally, some critical yet under-investigated areas and future research directions are discussed.

研究动机与目标

• 系统性地对多目标跟踪（MOT）中的嵌入方法进行分类与分析，尽管其在身份关联中起着关键作用，但尚未得到全面综述。
• 基于嵌入策略评估最先进MOT方法，突出其性能优势与设计权衡。
• 识别MOT中嵌入学习方面尚未充分研究的领域，如自监督预训练和辅助学习。
• 总结广泛使用的MOT数据集与评估指标，以支持可复现的基准测试与方法比较。
• 通过提出知识蒸馏、跨域嵌入和隐式行为建模等新方向，为未来研究提供指导。

提出的方法

• 本综述基于七种类别的分类体系，对MOT中的嵌入方法进行分类：补丁级、单帧、跨帧联合、相关性、序列、轨迹段以及跨轨迹关系嵌入。
• 针对每类嵌入方法，分析其网络架构设计、特征学习机制，并探讨其与运动和外观线索的融合方式。
• 作者利用标准化基准评估最先进MOT方法，按嵌入策略报告性能表现，包括MOTA和HOTA等指标。
• 综述讨论了辅助学习与自监督预训练作为提升嵌入泛化能力的有前景技术，且无需依赖大规模标注数据。
• 提出未来研究方向，如从Re-ID与检测模型中蒸馏知识、跨域适应，以及挖掘几何与时间一致性。
• 该方法包括在不同数据集上对嵌入技术的对比分析，强调其在遮挡、运动与分辨率挑战下的鲁棒性影响。

实验结果

研究问题

• RQ1 在MOT中，不同嵌入策略（如补丁级、跨帧联合与关系嵌入）在性能与鲁棒性方面如何比较？
• RQ2 当前MOT嵌入方法在遮挡与运动建模方面存在哪些关键局限性与设计权衡？
• RQ3 自监督或辅助学习技术如何在不依赖大规模标注数据的前提下提升嵌入质量？
• RQ4 如何有效将视频或图像任务中预训练的表示迁移到MOT嵌入学习中？
• RQ5 哪些尚未充分探索的嵌入技术（如因果推理或隐式行为估计）可进一步提升跟踪性能？

主要发现

• 综述发现，MOT中的嵌入方法在设计上存在显著差异，尚无统一范式，且当前方法常以多样化方式结合外观、运动与时空线索。
• 跨帧联合嵌入与关系嵌入通过建模对象与帧之间的交互关系，展现出优异性能，尤其在遮挡条件下提升了关联准确性。
• 在大规模未标注视频数据上进行自监督预训练在MOT中具有巨大潜力，但需设计针对性的掩码任务以学习对象级表征。
• 辅助学习（如将姿态估计或图像Re-ID作为辅助任务）可提升嵌入的判别性与泛化能力，尤其在低资源场景下表现突出。
• 从检测与Re-ID模型中进行知识蒸馏是提升嵌入质量并减少对端到端训练依赖的有前景路径。
• 若干关键研究方向仍处于未充分探索状态，包括隐式行为建模、一致性约束（如进出计数）、以及用于轨迹预测的因果推理。