[论文解读] Unsupervised Tracklet Person Re-Identification

Minxian Li, Xiatian Zhu+1 more|arXiv (Cornell University)|Mar 1, 2019

Video Surveillance and Tracking Methods参考文献 62被引用 5

一句话总结

本文提出无监督轨迹关联学习（UTAL），一种新颖的深度学习框架，可从自动生成的未标注轨迹中实现端到端行人重识别，无需任何成对或身份标注。通过联合优化同摄像头轨迹判别与跨摄像头轨迹关联，UTAL在八个基准数据集上达到最先进性能，显著优于现有无监督和领域自适应方法，尤其在处理轨迹碎片化和ID重复问题方面表现优异。

ABSTRACT

Most existing person re-identification (re-id) methods rely on supervised model learning on per-camera-pair manually labelled pairwise training data. This leads to poor scalability in a practical re-id deployment, due to the lack of exhaustive identity labelling of positive and negative image pairs for every camera-pair. In this work, we present an unsupervised re-id deep learning approach. It is capable of incrementally discovering and exploiting the underlying re-id discriminative information from automatically generated person tracklet data end-to-end. We formulate an Unsupervised Tracklet Association Learning (UTAL) framework. This is by jointly learning within-camera tracklet discrimination and cross-camera tracklet association in order to maximise the discovery of tracklet identity matching both within and across camera views. Extensive experiments demonstrate the superiority of the proposed model over the state-of-the-art unsupervised learning and domain adaptation person re-id methods on eight benchmarking datasets.

研究动机与目标

• 为解决监督行人重识别的可扩展性瓶颈，后者需为每对摄像头耗费成本地进行成对身份标注。
• 消除对标注源域或跨摄像头ID标注的依赖，实现在摄像头配置未知的真实监控场景中的部署。
• 开发一个统一的深度学习框架，从无标注视频数据中端到端发现具有判别性和关联性的轨迹表征。
• 通过引入软标签和联合优化，克服基于轨迹的重识别中轨迹碎片化和ID重复的问题。

提出的方法

• 提出一种双流深度学习架构，联合优化基于摄像头的轨迹判别（PCTD）和跨摄像头轨迹关联（CCTA）损失。
• 引入基于软标签的PCTD损失，以处理模糊或碎片化的轨迹，降低跨摄像头视图中ID重复的影响。
• 在CCTA分支中采用对比学习策略，最大化来自同一身份的轨迹在不同摄像头间被分组的可能性。
• 采用多任务学习目标，使同摄像头身份判别与跨摄像头匹配在单一端到端网络中同时训练。
• 应用可微的轨迹采样策略，利用所有可用轨迹，避免预采样或针对特定领域的轨迹过滤。
• 在弱监督设置下通过将软标签替换为硬的one-hot标签，实现对摄像头内ID标注的适应。

实验结果

研究问题

• RQ1 深度学习模型能否在无任何身份标注的情况下，从未标注轨迹中学习到具有判别性的行人重识别特征？
• RQ2 在无监督条件下，联合优化同摄像头判别与跨摄像头关联在发现真实身份匹配方面的有效性如何？
• RQ3 所提方法在真实监控数据中处理轨迹碎片化和ID重复问题的性能达到何种程度？
• RQ4 在多样化数据集上，该模型相较于最先进无监督和领域自适应重识别方法的表现如何？
• RQ5 当仅有限的摄像头内ID标签可用时，模型能否从弱监督信号中获益？

主要发现

• 在MARS数据集上，UTAL取得49.9%的Rank-1准确率和35.2%的mAP，显著优于先前的无监督方法TAUDL（43.8%和29.1%）。
• 在新引入的DukeTracklet数据集上，UTAL实现43.8%的Rank-1和36.6%的mAP，展现出在基于轨迹基准上的强大泛化能力。
• 使用全部轨迹而非预采样轨迹，在MARS上使Rank-1提升4.8%，mAP提升6.1%，证实了端到端学习的优势。
• 当使用DenseNet-121作为主干网络时，UTAL在MARS上取得51.6%的Rank-1和35.9%的mAP，表明其与先进网络架构的兼容性。
• 在弱监督设置下，UTAL在MARS上提升至59.5%的Rank-1和51.7%的mAP，表明即使有限的摄像头内标签也能显著提升性能。
• 在无一次学习标签的DukeMTMC-VideoReID上，UTAL取得74.5%的Rank-1和72.1%的mAP，超越相同无监督设置下的EUG方法（72.8%和63.2%）。