[论文解读] Survey on Reliable Deep Learning-Based Person Re-Identification Models: Are We There Yet?

Bahram Lavi, Ihsan Ullah+2 more|arXiv (Cornell University)|Apr 30, 2020

Video Surveillance and Tracking Methods参考文献 81被引用 18

一句话总结

本综述评估了2014年至今基于深度学习的人重新识别（PReID）模型，分析其架构、在基准数据集上的性能及局限性。研究识别出若干关键挑战，包括跨数据集泛化能力差、对监督学习的过度依赖、模型尺寸过大以及缺乏真实环境下的鲁棒性，主张未来应开发更高效、更具泛化能力且可扩展的模型，以实现智能视频监控系统中的实际部署。

ABSTRACT

Intelligent video-surveillance (IVS) is currently an active research field in computer vision and machine learning and provides useful tools for surveillance operators and forensic video investigators. Person re-identification (PReID) is one of the most critical problems in IVS, and it consists of recognizing whether or not an individual has already been observed over a camera in a network. Solutions to PReID have myriad applications including retrieval of video-sequences showing an individual of interest or even pedestrian tracking over multiple camera views. Different techniques have been proposed to increase the performance of PReID in the literature, and more recently researchers utilized deep neural networks (DNNs) given their compelling performance on similar vision problems and fast execution at test time. Given the importance and wide range of applications of re-identification solutions, our objective herein is to discuss the work carried out in the area and come up with a survey of state-of-the-art DNN models being used for this task. We present descriptions of each model along with their evaluation on a set of benchmark datasets. Finally, we show a detailed comparison among these models, which are followed by some discussions on their limitations that can work as guidelines for future research.

研究动机与目标

• 提供2014年至今最先进的基于深度学习的人重新识别（PReID）模型的全面综述。
• 评估这些模型在VIPeR、Market-1501和DukeMTMC-reID等标准基准数据集上的性能。
• 识别当前PReID模型中的关键局限性，例如跨数据集泛化能力差，以及对有限标注数据的监督学习过度依赖。
• 强调需要更小、更高效的模型，以在资源受限的嵌入式设备上保持高精度进行部署。
• 提出未来研究方向，包括合成数据生成、跨模态学习以及半监督或自监督训练，以提升真实场景下的适用性。

提出的方法

• 系统性回顾并分类2014年至2020年间发表的60个基于深度学习的PReID模型。
• 在标准基准数据集上评估模型性能，包括Rank-1准确率和mAP（平均精度均值）等性能指标。
• 分析模型架构，包括基于CNN的、成对损失和三元组损失的模型，重点关注参数效率和推理速度。
• 比较监督、半监督和无监督训练策略，突出监督方法与弱监督方法之间的性能差距。
• 研究数据增强技术及使用游戏引擎生成合成数据，作为缓解数据稀缺问题的潜在解决方案。
• 探索跨模态方法（如热成像与可见光）以及领域自适应技术，以提升在复杂环境下的鲁棒性。

实验结果

研究问题

• RQ1 当前基于深度学习的PReID模型在不同基准数据集上的表现如何？其泛化能力的范围有多大？
• RQ2 现有PReID模型在真实部署场景中的主要局限性是什么，特别是在模型尺寸、数据依赖性以及对领域偏移的鲁棒性方面？
• RQ3 在PReID中，合成数据生成在多大程度上可以缓解标注数据有限的挑战？
• RQ4 半监督和自监督学习方法在多大程度上能减少对大规模标注数据集的依赖？
• RQ5 在开放集和长期PReID场景中，当前研究的主要空白是什么？未来模型应如何解决这些问题？

主要发现

• 仅有1个模型（[93]）在超过一个基准数据集上达到最优性能，表明其在跨数据集泛化方面表现较差。
• 大多数模型在某一两个数据集上表现优异，但在其他数据集上表现不佳，凸显当前模型设计中的关键局限性。
• 监督模型显著优于半监督和无监督方法，表明弱监督训练仍处于发展初期，效果有限。
• 模型尺寸仍是主要问题，许多深度网络参数量过大，难以在内存受限的嵌入式设备上部署。
• 使用游戏引擎生成合成数据被提出为缓解数据稀缺的可行方案，尽管目前尚未发布专用于PReID的此类数据集。
• 跨模态学习（如热成像与可见光）以及领域知识迁移在提升夜间或低光照等复杂条件下的性能方面展现出潜力。