[论文解读] Person Re-identification: Past, Present and Future

Liang Zheng, Yi Yang+1 more|arXiv (Cornell University)|Oct 10, 2016

Video Surveillance and Tracking Methods参考文献 82被引用 1,038

一句话总结

这是对行人再识别的全面综述，追溯其历史，概述基于图像与视频的手工特征和深度学习方法，并勾画未来方向，如端到端系统和大规模检索。

ABSTRACT

Person re-identification (re-ID) has become increasingly popular in the community due to its application and research significance. It aims at spotting a person of interest in other cameras. In the early days, hand-crafted algorithms and small-scale evaluation were predominantly reported. Recent years have witnessed the emergence of large-scale datasets and deep learning systems which make use of large data volumes. Considering different tasks, we classify most current re-ID methods into two classes, i.e., image-based and video-based; in both tasks, hand-crafted and deep learning systems will be reviewed. Moreover, two new re-ID tasks which are much closer to real-world applications are described and discussed, i.e., end-to-end re-ID and fast re-ID in very large galleries. This paper: 1) introduces the history of person re-ID and its relationship with image classification and instance retrieval; 2) surveys a broad selection of the hand-crafted systems and the large-scale methods in both image- and video-based re-ID; 3) describes critical future directions in end-to-end re-ID and fast retrieval in large galleries; and 4) finally briefs some important yet under-developed issues.

研究动机与目标

• 介绍行人再识别、图像分类和实例检索之间的历史背景与关系。
• 综述基于图像和基于视频的手工特征方法与深度学习方法。
• 讨论端到端的再识别以及在大规模图库中的快速检索作为未来方向。
• 突出展示数据集、评估指标以及再识别研究中的未解问题。

提出的方法

• 将再识别方法分为图像基于和视频基于，每类都包含手工特征和深度学习方法。
• 讨论距离度量，特别是基于马氏距离的度量如 KISSME，以及子空间方法。
• 描述基于卷积神经网络的模型，包括分类与孪生/三元组架构，以及它们的训练策略。
• 解释评估协议（CMC 和 mAP）以及数据集特征（VIPeR、CUHK03、Market-1501 等）。
• 涉及实际方面，如检测器影响、端到端流水线和大规模检索挑战。

实验结果

研究问题

• RQ1 行人再识别在分类与检索方面的关键历史里程碑和关系是什么？
• RQ2 基于图像和基于视频的再识别中，手工特征方法与深度学习方法的比较如何？
• RQ3 塑造再识别进展的标准数据集与评估指标有哪些，它们揭示了当前的哪些局限？
• RQ4 哪些未来方向（端到端再识别、在大图库中的快速检索）对于实际部署最有前景？
• RQ5 在再识别研究和数据集开发中还有哪些未解决的问题？

主要发现

• 在大多数大数据集上，深度学习方法通常优于手工特征方法，VIPeR 由于规模较小是一个显著例外。
• Market-1501 在时间上的 rank-1 准确率有显著提升，但 mAP 相对较低，表明在跨多摄像头的召回方面还有提升空间。
• 数据集规模呈明显增加的趋势，较大的数据集使端到端学习和更鲁棒的嵌入成为可能。
• 检测器质量和边界框对齐显著影响 re-ID 性能，强调需要将检测与再识别集成的端到端流水线。
• 在跨数据集的比较中，识别（类似分类）模型在较大的基准上通常优于验证（siamese）模型，表明对 re-ID 标签的更好利用。
• 本综述预计深度学习在再识别领域将继续占主导地位，并预计通过更大、更真实的数据集以及在大图库中的可扩展检索实现突破。