[论文解读] Online Multiple Object Tracking with Cross-Task Synergy

Song Guo, Jingya Wang+2 more|arXiv (Cornell University)|Apr 1, 2021

Video Surveillance and Tracking Methods参考文献 61被引用 4

一句话总结

本文提出了一种统一的在线多目标跟踪框架，通过时间感知注意力机制和身份感知记忆聚合，实现了位置预测与身份嵌入关联之间的协同提升。通过联合优化两项任务，模型显著增强了对遮挡的鲁棒性，在MOTChallenge基准上实现了最先进性能，相比基线方法MOTA提升1.0。

ABSTRACT

Modern online multiple object tracking (MOT) methods usually focus on two directions to improve tracking performance. One is to predict new positions in an incoming frame based on tracking information from previous frames, and the other is to enhance data association by generating more discriminative identity embeddings. Some works combined both directions within one framework but handled them as two individual tasks, thus gaining little mutual benefits. In this paper, we propose a novel unified model with synergy between position prediction and embedding association. The two tasks are linked by temporal-aware target attention and distractor attention, as well as identity-aware memory aggregation model. Specifically, the attention modules can make the prediction focus more on targets and less on distractors, therefore more reliable embeddings can be extracted accordingly for association. On the other hand, such reliable embeddings can boost identity-awareness through memory aggregation, hence strengthen attention modules and suppress drifts. In this way, the synergy between position prediction and embedding association is achieved, which leads to strong robustness to occlusions. Extensive experiments demonstrate the superiority of our proposed model over a wide range of existing methods on MOTChallenge benchmarks. Our code and models are publicly available at https://github.com/songguocode/TADAM.

研究动机与目标

• 为了解决现有在线多目标跟踪方法将位置预测与嵌入关联视为孤立任务所导致的遮挡下性能不佳的问题。
• 通过注意力机制和记忆聚合将两者关联，建立相互促进的关系。
• 提升在重遮挡复杂场景下的跟踪鲁棒性，此类场景中当前方法常因预测漂移和噪声嵌入而失效。
• 开发一种统一的、端到端可训练模型，通过共享表征联合优化两项任务。

提出的方法

• 引入时间感知目标注意力（TA）和干扰物注意力（DA）模块，利用身份嵌入引导特征关注，减少邻近物体的干扰。
• 采用身份感知记忆聚合模块，随时间累积判别性嵌入，以增强注意力生成并提高预测可靠性。
• 利用注意力模块通过强调目标和抑制干扰物来优化边界框预测，尤其在遮挡期间表现更优。
• 利用注意力引导的特征提取获得的可靠嵌入，进一步提升注意力质量，形成正向反馈回路。
• 通过统一损失函数，端到端联合优化位置预测、嵌入关联及所有组件。
• 根据遮挡程度自适应加权注意力模块，仅在高遮挡场景下应用更强注意力，避免在简单情况下性能下降。

实验结果

研究问题

• RQ1 在线多目标跟踪中的位置预测与嵌入关联能否通过联合优化实现相互增益，而非作为独立任务处理？
• RQ2 如何设计注意力机制，使位置预测在聚焦目标并抑制干扰物的同时，对遮挡更具鲁棒性？
• RQ3 身份感知记忆聚合在长期遮挡下在多大程度上能提升注意力质量与跟踪性能？
• RQ4 基于遮挡程度自适应应用注意力模块是否优于统一应用，从而带来更优的整体性能？
• RQ5 统一的端到端模型能否在标准MOT基准上超越现有最先进方法？

主要发现

• 所提方法在MOTChallenge基准上实现了最先进性能，显著优于现有方法，MOTA大幅提升。
• 在遮挡程度超过90%时，跟踪器实现了25%的跟踪率，而Tracktor++V2仅为5%，表明在极端遮挡下具有强大鲁棒性。
• 移除注意力模块的自适应加权导致MOTA下降1.0，证实了上下文感知注意力应用的必要性。
• 将记忆聚合替换为简单的逐帧参考存储，导致MOTA下降0.5，凸显长期身份表征的重要性。
• 消融实验表明，目标注意力与干扰物注意力模块均对性能有显著贡献，尤其在高遮挡场景下。
• 通过消融实验验证了预测与关联之间的协同效应，表明联合优化优于孤立任务优化。