[论文解读] Tracklets Predicting Based Adaptive Graph Tracking

Chaobing Shan, Chunbo Wei+5 more|arXiv (Cornell University)|Oct 18, 2020

Video Surveillance and Tracking Methods参考文献 69被引用 35

一句话总结

TPAGT 引入基于轨迹片段运动的特征再提取与自适应图神经网络，用于融合位置、外观和历史信息，以实现鲁棒的多目标跟踪，在 MOT16/17 上达到最先进的 MOT 分数。

ABSTRACT

Most of the existing tracking methods link the detected boxes to the tracklets using a linear combination of feature cosine distances and box overlap. But the problem of inconsistent features of an object in two different frames still exists. In addition, when extracting features, only appearance information is utilized, neither the location relationship nor the information of the tracklets is considered. We present an accurate and end-to-end learning framework for multi-object tracking, namely extbf{TPAGT}. It re-extracts the features of the tracklets in the current frame based on motion predicting, which is the key to solve the problem of features inconsistent. The adaptive graph neural network in TPAGT is adopted to fuse locations, appearance, and historical information, and plays an important role in distinguishing different objects. In the training phase, we propose the balanced MSE LOSS to successfully overcome the unbalanced samples. Experiments show that our method reaches state-of-the-art performance. It achieves 76.5\% MOTA on the MOT16 challenge and 76.2\% MOTA on the MOT17 challenge.

研究动机与目标

• 通过解决跨帧特征不一致性来推动鲁棒的多目标跟踪。
• 开发一种基于运动预测在当前帧中重新提取轨迹片段特征的方法。
• 通过自适应图神经网络融合位置信息、外观信息和历史信息。
• 通过平衡的 MSE 损失来缓解训练样本的不平衡。
• 在 MOT16 和 MOT17 基准上展示最先进的性能。

提出的方法

• 基于轨迹片段预测的特征重新提取：预测轨迹片段的运动，并在当前帧中使用金字塔 LK 对齐特征进行重新提取。
• 自适应图神经网络：将检测和轨迹片段视为二部图节点；使用 IOU 及特征相似度自适应地对边信息加权以更新节点嵌入。
• 用归一化的嵌入计算相似性并形成用于匹配的输出相似性矩阵。
• 平衡 MSE 损失（BMSE）：平衡正样本/负样本贡献以解决训练中的数据不平衡。
• 推理阶段使用带边际的增强相似性矩阵，并采用匈牙利算法进行数据关联。
• 消融工具：骨干网络比较、运动估计方法以及 AGNN 变体，以评估每个组件的贡献。

实验结果

研究问题

• RQ1 如何将轨迹片段特征与当前帧检测对齐，以减少跨帧特征不一致？
• RQ2 自适应图神经网络是否能够有效融合位置信息、外观信息和历史轨迹片段信息以改进关联？
• RQ3 平衡损失是否有助于缓解 MOT 数据关联中的样本分布不平衡？
• RQ4 基于轨迹片段运动的特征重新提取对整体 MOT 性能的影响是什么？
• RQ5 在公开检测和私有检测下，TPAGT 与 MOT16、MOT17 的最先进跟踪器相比如何？

主要发现

• 在所提方法下，TPAGT 在 MOT16 公共检测上达到 62.7% MOTA 和 60.3% IDF1。
• 在 MOT17 公共检测上达到 62.0% MOTA 和 59.5% IDF1。
• 在 MOT16/MOT17 私有检测下，TPAGT 分别达到 76.5% MOTA 和 68.6% IDF1（MOTA），68.0% IDF1（IDF1），超过若干先前方法。
• 在当前帧重新提取轨迹片段特征（基于运动的对齐）显著改进了 MOTA 和 IDF1。
• TPAGT 中的自适应图（AGNN）在性能上明显优于非自适应的 GNN 变体。
• 在消融实验中，平衡 MSE 损失的结果优于 Triplet 损失。