[论文解读] Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association

Young-Chul Yoon, Du Yong Kim+3 more|arXiv (Cornell University)|Jul 1, 2019

Video Surveillance and Tracking Methods参考文献 51被引用 12

一句话总结

本文提出 Deep-TAMA，一种新颖的在线多人跟踪方法，采用联合推理网络（JI-Net）结合深度时序外观匹配，以提升身份一致性并减少 ID 切换。通过利用成对特征比较与分层初始化，增强遮挡和运动变化下的外观建模能力，最终在 MOTChallenge 2019 在线跟踪基准中获得第三名。

ABSTRACT

In online multi-target tracking, modeling of appearance and geometric similarities between pedestrians visual scenes is of great importance. The higher dimension of inherent information in the appearance model compared to the geometric model is problematic in many ways. However, due to the recent success of deep-learning-based methods, handling of high-dimensional appearance information becomes feasible. Among many deep neural networks, Siamese network with triplet loss has been widely adopted as an effective appearance feature extractor. Since the Siamese network can extract the features of each input independently, one can update and maintain target-specific features. However, it is not suitable for multi-target settings that require comparison with other inputs. To address this issue, we propose a novel track appearance model based on the joint-inference network. The proposed method enables a comparison of two inputs to be used for adaptive appearance modeling and contributes to the disambiguation of target-observation matching and to the consolidation of identity consistency. Diverse experimental results support the effectiveness of our method. Our work was recognized as the 3rd-best tracker in BMTT MOTChallenge 2019, held at CVPR2019. The code is available at https://github.com/yyc9268/Deep-TAMA.

研究动机与目标

• 为解决孪生网络在在线多目标跟踪中无法基于成对比较自适应建模外观的局限性。
• 克服联合推理网络（JI-Net）在在线设置下无法支持目标特定外观建模的缺陷。
• 通过整合时序外观匹配与分层初始化，提升遮挡、运动变化及低帧率条件下的跟踪鲁棒性。
• 在公开基准上实现在线多人跟踪的最先进性能。

提出的方法

• 提出一种联合推理网络（JI-Net），可同时处理两个行人区域以计算相似度得分，通过成对比较实现自适应外观建模。
• 引入 C-TAMA（上下文时序外观匹配关联）以利用时序上下文，提升跨帧的特征区分能力。
• 通过数据驱动方法融合形状与外观特征，构建 Deep-TAMA，减少特征间的相互独立性，增强鲁棒性。
• 采用分层初始化以提升跟踪灵活性并降低对初始检测误差的敏感性。
• 先使用孪生网络结合三元组损失进行初始特征提取，再通过 JI-Net 实现精细化外观匹配。
• 将原始模板历史以三维张量形式保存，以保留随时间变化的详细外观信息，提升长期身份一致性。

实验结果

研究问题

• RQ1 联合推理网络能否被适配于在线多目标跟踪，以实现动态成对外观比较并提升身份一致性？
• RQ2 引入时序外观匹配在遮挡和运动变化条件下如何提升跟踪鲁棒性？
• RQ3 分层初始化与特征解耦在多大程度上增强跟踪灵活性并减少 ID 切换？
• RQ4 数据驱动的外观与形状特征融合是否能在在线跟踪中超越传统基于孪生网络的外观模型？
• RQ5 该方法在低帧率及具有挑战性的现实场景下表现如何？

主要发现

• 所提出的 Deep-TAMA 跟踪器在 CVPR 2019 在线多目标跟踪挑战赛中获得第三名，证明其在公开基准上的最先进性能。
• 该方法显著减少了在遮挡和拥挤场景下的 ID 切换，尤其在 GIST-Tree 序列中，该序列因大型障碍物导致长期遮挡。
• 定性结果表明，即使目标部分或完全被遮挡，系统仍能保持稳定轨迹，颜色编码 ID 与轨迹线验证了跟踪的一致性。
• 在处理外观模糊性方面，该跟踪器优于传统基于孪生网络的方法，尤其在行人外观相似或突然移动时表现更优。
• 失败案例主要源于低帧率（5 FPS），此时突然的运动变化或目标快速消失会导致临时 ID 切换，表明对时间采样敏感。
• 尽管因三维模板存储导致内存与计算成本较高，该方法在各类场景中仍保持稳健性能，包括弯道、交叉路口及复杂遮挡场景。