[论文解读] Trajectory Factory: Tracklet Cleaving and Re-connection by Deep Siamese Bi-GRU for Multiple Object Tracking

Cong Ma, Changshui Yang+5 more|arXiv (Cornell University)|Apr 12, 2018

Video Surveillance and Tracking Methods参考文献 21被引用 13

一句话总结

本文提出一种基于轨迹片段（tracklet）的多目标跟踪方法，采用孪生双向GRU模型，在长时间遮挡或拥挤场景下对误跟踪轨迹进行切分与重新连接。通过结合CNN提取的外观特征与RNN驱动的运动建模，该方法在MOT16数据集上将MOTA提升至48.2%，在静态摄像头序列上优于先前方法。

ABSTRACT

Multi-Object Tracking (MOT) is a challenging task in the complex scene such as surveillance and autonomous driving. In this paper, we propose a novel tracklet processing method to cleave and re-connect tracklets on crowd or long-term occlusion by Siamese Bi-Gated Recurrent Unit (GRU). The tracklet generation utilizes object features extracted by CNN and RNN to create the high-confidence tracklet candidates in sparse scenario. Due to mis-tracking in the generation process, the tracklets from different objects are split into several sub-tracklets by a bidirectional GRU. After that, a Siamese GRU based tracklet re-connection method is applied to link the sub-tracklets which belong to the same object to form a whole trajectory. In addition, we extract the tracklet images from existing MOT datasets and propose a novel dataset to train our networks. The proposed dataset contains more than 95160 pedestrian images. It has 793 different persons in it. On average, there are 120 images for each person with positions and sizes. Experimental results demonstrate the advantages of our model over the state-of-the-art methods on MOT16.

研究动机与目标

• 解决多目标跟踪（MOT）中因长时间遮挡或拥挤场景导致的跟踪漂移与错误关联问题，从而降低性能下降。
• 通过检测并修正因检测误差或遮挡引起的误跟踪轨迹片段，提升轨迹的一致性。
• 利用深度孪生双向GRU设计鲁棒的轨迹片段重连机制，基于外观与运动特征匹配同一目标的子轨迹片段。
• 构建一个包含95,160张行人图像与793个身份的新数据集，用于训练与评估所提模型。
• 在MOT16基准上实现最先进性能，尤其在静态摄像头场景下表现优异。

提出的方法

• 通过非极大值抑制（NMS）生成高置信度的轨迹片段候选，并融合CNN提取的外观特征与LSTM建模的运动特征。
• 应用双向GRU检测轨迹片段内部的分裂点，在因遮挡导致误跟踪时将单一轨迹片段切分为多个子轨迹片段。
• 采用深度孪生双向GRU网络比较子轨迹片段的特征，计算相似度得分以决定是否进行重连。
• 在从宽残差网络（WRN）提取的128维CNN特征上，使用对比损失与验证损失联合训练孪生GRU模型。
• 结合时空约束对匹配的子轨迹片段进行重连，并通过多项式曲线拟合平滑轨迹。
• 从MOT16、PathTrack与MARS数据集提取并合成新训练数据集，包含95,160张行人图像与793个身份。

实验结果

研究问题

• RQ1 轨迹片段切分在长时间遮挡与拥挤场景下如何提升跟踪鲁棒性？
• RQ2 孪生双向GRU架构能否有效学习基于外观与运动特征对同一目标的子轨迹片段进行重连？
• RQ3 与现有MOT方法相比，所提方法在减少身份切换与轨迹碎片化方面达到何种程度的改进？
• RQ4 所提方法在MOT16中静态摄像头与运动摄像头序列上的性能表现有何差异？
• RQ5 新构建的轨迹片段图像数据集在多大程度上提升了轨迹重连模型的泛化能力与性能？

主要发现

• 所提方法在MOT16基准上实现48.2%的MOTA，优于先前SOTA方法，尤其在静态摄像头序列中表现更优。
• 在MOT16-01序列中，MOTA达到42.5%，在所有对比方法中排名第一。
• 模型显著提升IDF1指标，减少身份切换与轨迹碎片化，尤其在长时间遮挡序列中表现突出。
• 孪生双向GRU模型在新构建的95,160张行人图像与793个身份的数据集上展现出强大泛化能力。
• 该方法在静态摄像头序列中表现最佳（如MOT16-03序列中MOTA达56.7%），但在运动摄像头序列中性能下降，主要因时空约束不适用。
• 图5的定性结果表明，该方法能成功重连断裂的轨迹，并在拥挤场景中有效减少误报。