[论文解读] Unsupervised Person Re-Identification: A Systematic Survey of Challenges and Solutions

Xiangtan Lin, Pengzhen Ren+4 more|arXiv (Cornell University)|Sep 1, 2021

Video Surveillance and Tracking Methods参考文献 108被引用 18

一句话总结

本综述对无监督行人重识别（Re-ID）方法进行了全面分析，系统性地解决了四个核心挑战：缺乏身份标签、通过伪监督进行特征学习、跨摄像头域偏移以及数据集之间的域差距。该综述评估了最先进解决方案，总结了在基准测试中的性能表现，并指出了可扩展、泛化能力强的Re-ID模型在无标签数据下研究的关键空白与未来方向。

ABSTRACT

Person re-identification (Re-ID) has been a significant research topic in the past decade due to its real-world applications and research significance. While supervised person Re-ID methods achieve superior performance over unsupervised counterparts, they can not scale to large unlabelled datasets and new domains due to the prohibitive labelling cost. Therefore, unsupervised person Re-ID has drawn increasing attention for its potential to address the scalability issue in person Re-ID. Unsupervised person Re-ID is challenging primarily due to lacking identity labels to supervise person feature learning. The corresponding solutions are diverse and complex, with various merits and limitations. Therefore, comprehensive surveys on this topic are essential to summarise challenges and solutions to foster future research. Existing person Re-ID surveys have focused on supervised methods from classifications and applications but lack detailed discussion on how the person Re-ID solutions address the underlying challenges. This survey review recent works on unsupervised person Re-ID from the perspective of challenges and solutions. Specifically, we provide an in-depth analysis of highly influential methods considering the four significant challenges in unsupervised person Re-ID: 1) lacking ground-truth identity labels to supervise person feature learning; 2) learning discriminative person features with pseudo-supervision; 3) learning cross-camera invariant person feature, and 4) the domain shift between datasets. We summarise and analyse evaluation results and provide insights on the effectiveness of the solutions. Finally, we discuss open issues and suggest some promising future research directions.

研究动机与目标

• 系统分析无监督行人重识别（Re-ID）在实际应用场景中可扩展部署所面临的挑战与解决方案。
• 解决现有综述主要关注有监督Re-ID而忽视无监督方法的局限性。
• 深入分析近期方法如何应对身份标签稀缺、伪监督、跨摄像头不变性以及域偏移问题。
• 总结并比较主流无监督Re-ID方法在标准基准上的评估结果。
• 识别开放性问题并提出有前景的未来研究方向，包括端到端无监督Re-ID和泛化模型。

提出的方法

• 本综述系统性地回顾了基于深度学习的无监督Re-ID方法，聚焦于四个关键挑战：缺乏真实标签、通过伪监督学习判别性特征、实现跨摄像头不变性以及处理域差距。
• 从方法如何应对四项挑战的视角分析有影响力的工作，评估其设计选择与权衡。
• 在Market-1501和DukeMTMC-Re-ID等主要基准上比较性能，突出展示Rank-1准确率随时间的提升。
• 结合自监督学习、对比学习和域自适应的最新进展，评估解决方案的有效性。
• 评估基于图像和基于视频的无监督Re-ID方法，强调端到端学习与特征对齐技术。
• 方法论包括对现有解决方案的批判性综合，识别在泛化性、可扩展性以及跨域部署方面的局限与机遇。

实验结果

研究问题

• RQ1 无监督Re-ID方法在训练过程中如何应对身份标签缺失的问题？
• RQ2 在缺乏真实身份标签的情况下，哪些技术能有效利用伪标签学习判别性行人特征？
• RQ3 当前方法在无成对监督的情况下，如何提升无监督Re-ID中的跨摄像头不变性？
• RQ4 无监督模型在存在显著光照与几何差异的域之间，其泛化能力在多大程度上得以实现？
• RQ5 在真实世界环境中实现可扩展、零样本部署Re-ID模型的关键局限与开放挑战是什么？

主要发现

• 无监督Re-ID性能显著提升，Market-1501上的Rank-1准确率从2017年的44.4%提升至2020年的98.5%，DukeMTMC-Re-ID从30.8%提升至95%以上。
• 伪监督技术如聚类和对比学习在无真实标签条件下有效学习判别性特征。
• 通过数据增强、自蒸馏和特征对齐可提升跨摄像头不变性，尤其在结合对比学习时效果更显著。
• 域差距缓解仍是主要挑战，无监督域自适应方法虽具前景，但需针对特定域进行适应。
• 能在多样化、未见域中有效工作的泛化Re-ID模型仍有限，凸显了在多样化无标签数据上进行预训练的必要性。
• 端到端无监督Re-ID，特别是基于视觉Transformer的方法，仍研究不足但未来可扩展潜力巨大。