[论文解读] State-aware Re-identification Feature for Multi-target Multi-camera Tracking

Peng Li, Jiabin Zhang+4 more|arXiv (Cornell University)|Jun 4, 2019

Video Surveillance and Tracking Methods参考文献 65被引用 4

一句话总结

该论文提出了一种状态感知的重识别（Re-ID）特征，用于多目标多摄像头跟踪（MTMCT），通过利用人体姿态信息估计遮挡状态和朝向，提升外观特征的鲁棒性。通过融合基于聚类的特征、朝向感知特征和时间有效性特征，构建鲁棒的跟踪特征，并结合重新设计的距离矩阵进行轨迹片段关联，该方法在DukeMTMCT的hard序列上实现了81.3%的IDF1，优于所有先前方法。

ABSTRACT

Multi-target Multi-camera Tracking (MTMCT) aims to extract the trajectories from videos captured by a set of cameras. Recently, the tracking performance of MTMCT is significantly enhanced with the employment of re-identification (Re-ID) model. However, the appearance feature usually becomes unreliable due to the occlusion and orientation variance of the targets. Directly applying Re-ID model in MTMCT will encounter the problem of identity switches (IDS) and tracklet fragment caused by occlusion. To solve these problems, we propose a novel tracking framework in this paper. In this framework, the occlusion status and orientation information are utilized in Re-ID model with human pose information considered. In addition, the tracklet association using the proposed fused tracking feature is adopted to handle the fragment problem. The proposed tracker achieves 81.3\% IDF1 on the multiple-camera hard sequence, which outperforms all other reference methods by a large margin.

研究动机与目标

• 解决由于遮挡和外观变化导致的多目标多摄像头跟踪（MTMCT）中的身份切换和轨迹片段化问题。
• 提升在检测器产生低质量检测结果的拥挤场景中Re-ID特征的可靠性。
• 通过在Re-ID特征学习过程中引入遮挡状态和朝向线索，增强轨迹的一致性。
• 设计一种融合的鲁棒跟踪特征，结合基于聚类的特征、朝向感知特征和时间有效性特征，实现稳定的关联。
• 在DukeMTMCT基准上实现最先进性能，特别是在具有挑战性的hard序列上。

提出的方法

• 利用人体姿态估计推断目标状态，包括遮挡状态和朝向，以指导Re-ID特征提取。
• 引入一种融合的跟踪特征，结合当前有效的Re-ID特征、来自轨迹片段的基于聚类的特征以及朝向感知特征。
• 应用时间有效性掩码（$f_{invalid}$）以抑制高度遮挡帧中不可靠的特征。
• 设计一种新型距离矩阵用于数据关联，通过引入状态感知特征提升在遮挡情况下的鲁棒性。
• 采用离线轨迹片段关联策略：首先生成短轨迹片段，然后进行校正和聚类以解决片段化问题。
• 基于融合特征的距离矩阵，使用匈牙利算法进行全局轨迹匹配。

实验结果

研究问题

• RQ1 如何有效建模遮挡状态和朝向，以提升多摄像头跟踪中Re-ID特征的可靠性？
• RQ2 融合基于聚类的特征、朝向感知特征和时间有效性特征在多大程度上提升了跟踪性能？
• RQ3 基于状态感知特征重新设计的距离矩阵能否减少身份切换和轨迹片段化？
• RQ4 所提出的轨迹片段关联策略与逐帧在线关联相比，在处理遮挡时表现如何？
• RQ5 各组件（基于姿态的状态信息、聚类、朝向、无效掩码）对最终跟踪性能的贡献分别是什么？

主要发现

• 所提出的跟踪器在DukeMTMCT的hard序列上实现了81.3%的IDF1，创下新的最先进性能记录。
• 消融实验表明，添加基于聚类的特征使IDF1相比基线提升5.4%。
• 进一步引入朝向感知特征后，IDF1相比仅使用聚类的基线再提升2.6%。
• 添加时间无效特征后，身份切换数（IDS）从6,564减少到5,466，同时IDF1提升0.1%。
• 完整模型在trainval-mini数据集上达到85.2%的IDF1，证明了状态感知Re-ID特征的有效性。
• 该方法在基准测试中优于所有已发表和未发表的方法，尤其在hard序列上表现更优，证实了其在拥挤、遮挡严重的场景中的鲁棒性。