[论文解读] TGCN: Time Domain Graph Convolutional Network for Multiple Objects Tracking

Jie Zhang|arXiv (Cornell University)|Jan 6, 2021

Video Surveillance and Tracking Methods参考文献 12被引用 6

一句话总结

该论文提出TGCN，一种时间域图卷积网络，通过建模过去帧与当前帧特征之间的时序关系，实现多目标跟踪。通过利用数据驱动的相关性矩阵与GCN在帧间传播外观特征，TGCN提升了姿态特征表示，在MOT16上实现了1.3%的MOTA提升，同时保持了较高的推理速度。

ABSTRACT

Multiple object tracking is to give each object an id in the video. The difficulty is how to match the predicted objects and detected objects in same frames. Matching features include appearance features, location features, etc. These features of the predicted object are basically based on some previous frames. However, few papers describe the relationship in the time domain between the previous frame features and the current frame features.In this paper, we proposed a time domain graph convolutional network for multiple objects tracking.The model is mainly divided into two parts, we first use convolutional neural network (CNN) to extract pedestrian appearance feature, which is a normal operation processing image in deep learning, then we use GCN to model some past frames' appearance feature to get the prediction appearance feature of the current frame. Due to this extension, we can get the pose features of the current frame according to the relationship between some frames in the past. Experimental evaluation shows that our extensions improve the MOTA by 1.3 on the MOT16, achieving overall competitive performance at high frame rates.

研究动机与目标

• 解决因运动模糊和遮挡导致的多目标跟踪中身份切换问题。
• 利用过去帧的时序依赖关系，改进预测目标的外观特征表示。
• 在帧间建模对象特征之间超越简单t-1连接的时间域关系。
• 通过新型基于图的特征传播机制，将学习到的时序动态整合到跟踪关联过程中。

提出的方法

• 基于YOLOv5的检测器从每帧中提取目标检测结果和外观特征。
• 利用先验的单向连接（从t-1到t）和帧间学习到的相似性概率，构建时间域图。
• 图邻接矩阵A定义为A = Q + P，其中Q编码时序顺序，P编码学习到的特征相似性。
• 多层GCN在时间域图上传播特征，层间更新公式为X^(l+1) = σ(AX^(l)W)，以学习时序依赖关系。
• 利用过去C帧的时间窗口特征，预测当前帧的姿态特征。
• 最终关联采用匈牙利分配算法，结合运动（马氏距离）、速度（余弦相似度）和外观（d3）度量的加权组合。

实验结果

研究问题

• RQ1 建模超越最近一帧的时序关系是否能提升多目标跟踪中的外观特征表示？
• RQ2 数据驱动的图卷积网络如何增强跟踪过程中跨时间的特征传播？
• RQ3 与标准卡尔曼滤波器和仅基于外观的方法相比，基于GCN的时序建模能否减少身份切换？
• RQ4 在不牺牲推理速度的前提下，引入时间域结构在多大程度上提升了跟踪精度？

主要发现

• TGCN在MOT16基准上实现了62.7%的MOTA，相比基线DeepSORT提升了1.3%。
• 身份切换数量减少至751次，低于DeepSORT的781次，表明跟踪一致性得到提升。
• 误报（FP）和漏报（FN）分别减少至7101和55581，表明检测关联性能更优。
• 模型保持了高速推理，YOLOv5在V100 GPU上实现每帧处理时间低于20ms。
• 速度与姿态特征的融合显著减少了身份切换，相比仅使用外观或仅使用运动的基线方法。
• 在邻接矩阵A中引入学习到的相关性矩阵P，使特征传播超越简单时序排序，效果更优。