[论文解读] RelationTrack: Relation-aware Multiple Object Tracking with Decoupled Representation

En Yu, Zhuoling Li+2 more|arXiv (Cornell University)|May 10, 2021

Video Surveillance and Tracking Methods被引用 8

一句话总结

RelationTrack 提出了一种新颖的在线多目标跟踪框架，通过全局上下文解耦（GCD）模块将检测与重识别（ReID）特征表示解耦，以解决优化矛盾，同时采用带有可变形注意力的引导式 Transformer 编码器（GTE）高效建模全局语义关系。该方法在 MOT20 上实现了最先进性能，IDF1 达 70.5%，MOTA 达 67.2%。

ABSTRACT

Existing online multiple object tracking (MOT) algorithms often consist of two subtasks, detection and re-identification (ReID). In order to enhance the inference speed and reduce the complexity, current methods commonly integrate these double subtasks into a unified framework. Nevertheless, detection and ReID demand diverse features. This issue would result in an optimization contradiction during the training procedure. With the target of alleviating this contradiction, we devise a module named Global Context Disentangling (GCD) that decouples the learned representation into detection-specific and ReID-specific embeddings. As such, this module provides an implicit manner to balance the different requirements of these two subtasks. Moreover, we observe that preceding MOT methods typically leverage local information to associate the detected targets and neglect to consider the global semantic relation. To resolve this restriction, we develop a module, referred to as Guided Transformer Encoder (GTE), by combining the powerful reasoning ability of Transformer encoder and deformable attention. Unlike previous works, GTE avoids analyzing all the pixels and only attends to capture the relation between query nodes and a few self-adaptively selected key samples. Therefore, it is computationally efficient. Extensive experiments have been conducted on the MOT16, MOT17 and MOT20 benchmarks to demonstrate the superiority of the proposed MOT framework, namely RelationTrack. The experimental results indicate that RelationTrack has surpassed preceding methods significantly and established a new state-of-the-art performance, e.g., IDF1 of 70.5% and MOTA of 67.2% on MOT20.

研究动机与目标

• 解决联合跟踪框架中检测与 ReID 之间的优化矛盾。
• 通过建模超越局部特征的全局语义关系，提升跟踪精度。
• 在保留长距离依赖建模能力的同时，降低全局注意力机制的计算成本。
• 开发一种轻量化但强大的模块，实现在在线 MOT 中高效的关系推理。

提出的方法

• 提出全局上下文解耦（GCD）模块，一种自驱式模块，将共享特征解耦为检测专用和 ReID 专用嵌入，以缓解优化冲突。
• 提出一种引导式 Transformer 编码器（GTE），结合可变形注意力与 Transformer 编码器结构，以更低计算量捕捉全局结构关系。
• 使用可变形注意力机制，为每个查询节点仅选择少量自适应关键样本，将复杂度从 O(n²) 降低至 O(n)。
• 采用双分支特征学习策略，通过解耦表示独立优化检测与 ReID。
• 设计联合训练框架，实现在单一网络中端到端学习检测、ReID 与关系推理。
• 优化 GTE 中关键样本数量，平衡性能与计算成本，确定每查询 9 个样本为最优选择。

实验结果

研究问题

• RQ1 解耦检测与 ReID 特征表示是否能减少优化冲突并提升跟踪精度？
• RQ2 轻量化的全局关系建模机制是否能在多目标跟踪中超越局部或全局注意力？
• RQ3 可变形注意力中关键样本数量如何影响跟踪性能与计算效率？
• RQ4 关联感知框架是否能在遮挡或小目标等挑战性条件下保持鲁棒性？

主要发现

• RelationTrack 在 MOT20 基准上实现了新的最先进 IDF1（70.5%）与 MOTA（67.2%）性能。
• 在 MOT17 上，通过引入 GCD 模块，IDF1 从 73.3% 提升至 74.9%，证明了其对优化矛盾的有效缓解。
• GTE 模块在每查询使用 9 个关键样本时达到最佳平衡，实现 MOT17 上 75.3% IDF1 与 70.1% MOTA，且超过 9 个样本后性能下降可忽略。
• RelationTrack 在 MOT16 上比 FairMOT 提升 3.0% IDF1，在 MOT17 上提升 2.4%，证实其最先进性能。
• 鲁棒性分析表明，RelationTrack 在部分遮挡目标上仍能成功跟踪，而 FairMOT 与 CSTrack 失败，凸显其强大的特征表示能力。
• 可视化结果证实，GCD 成功在检测专用特征中突出检测相关区域，在 ReID 专用特征中强调身份相关部分。