[论文解读] Person Re-Identification using Deep Learning Networks: A Systematic Review

Ankit Yadav, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|Dec 24, 2020

Video Surveillance and Tracking Methods被引用 8

一句话总结

本篇系统性综述综合了用于行人重识别（Re-ID）的最先进深度学习方法，分析了网络架构、姿态与遮挡变化等挑战，多模态与跨域Re-ID，度量学习，以及基于视频的Re-ID。综述评估了基准数据集、顶尖结果及未来发展方向，全面呈现了深度Re-ID研究的最新进展。

ABSTRACT

Person re-identification has received a lot of attention from the research community in recent times. Due to its vital role in security based applications, person re-identification lies at the heart of research relevant to tracking robberies, preventing terrorist attacks and other security critical events. While the last decade has seen tremendous growth in re-id approaches, very little review literature exists to comprehend and summarize this progress. This review deals with the latest state-of-the-art deep learning based approaches for person re-identification. While the few existing re-id review works have analysed re-id techniques from a singular aspect, this review evaluates numerous re-id techniques from multiple deep learning aspects such as deep architecture types, common Re-Id challenges (variation in pose, lightning, view, scale, partial or complete occlusion, background clutter), multi-modal Re-Id, cross-domain Re-Id challenges, metric learning approaches and video Re-Id contributions. This review also includes several re-id benchmarks collected over the years, describing their characteristics, specifications and top re-id results obtained on them. The inclusion of the latest deep re-id works makes this a significant contribution to the re-id literature. Lastly, the conclusion and future directions are included.

研究动机与目标

• 提供对近期基于深度学习的行人重识别技术的全面、多维度评估。
• 解决现有综述文献中缺乏对Re-ID中多样化深度学习方面的全面覆盖的问题。
• 分析Re-ID系统中常见的挑战，如姿态变化、光照变化、遮挡及背景杂乱。
• 重点评估多模态、跨域及基于视频的Re-ID方法，尤其关注度量学习。
• 整理并描述主要的Re-ID基准数据集、其规格说明及最先进性能结果。

提出的方法

• 对截至2020年发表的基于深度学习的行人Re-ID方法进行系统性文献回顾。
• 根据深度神经网络架构类型（如CNN、Siamese网络、注意力机制）对Re-ID技术进行分类。
• 分析在姿态、光照、视角、尺度、遮挡及背景杂乱等关键挑战下的性能表现。
• 调研多模态Re-ID（如RGB+深度、RGB+热成像）与跨域Re-ID方法。
• 考察用于提升嵌入空间判别能力的度量学习策略。
• 回顾利用时序建模与时空特征的视频Re-ID方法。

实验结果

研究问题

• RQ1 现代行人重识别系统中，主流的深度学习架构有哪些？
• RQ2 现有方法如何应对遮挡、视角变化及光照变化等常见Re-ID挑战？
• RQ3 基于深度学习的多模态与跨域行人重识别取得了哪些进展？
• RQ4 度量学习技术如何提升Re-ID任务中特征嵌入的质量？
• RQ5 行人重识别中的关键基准数据集有哪些？其上表现最佳的方法结果如何？

主要发现

• 综述识别出卷积神经网络（CNNs）与Siamese网络是Re-ID中最常见的深度学习架构。
• 如三元组损失与对比损失等度量学习方法显著提升了特征判别能力与重识别准确率。
• 结合RGB与深度或热成像数据的多模态Re-ID方法在复杂条件下表现出更强鲁棒性。
• 跨域Re-ID仍是主要挑战，当源域与目标域差异较大时，性能显著下降。
• 利用循环网络或3D卷积的视频Re-ID方法通过建模时序一致性，相比图像基方法实现了更高准确率。
• PRID2012、Market-1501、DukeMTMC-reID与MSMT12849基准数据集仍是评估Re-ID性能的核心，顶尖方法在标准协议下于Market-1501上mAP得分超过90%。