[论文解读] Open-set Person Re-identification

Shengcai Liao, Zhipeng Mo+3 more|arXiv (Cornell University)|Aug 5, 2014

Video Surveillance and Tracking Methods参考文献 25被引用 32

一句话总结

本文提出了开放集行人重识别问题，即系统必须检测查询行人是否存在于图库中，并在存在时进行识别。作者提出了一项新基准，基于包含200名人员和7,413张图像的多摄像头数据集，评估度量学习算法；RRDA表现最佳，但总体性能仍然较差，表明该问题尚未得到充分解决，仍需进一步研究。

ABSTRACT

Person re-identification is becoming a hot research for developing both machine learning algorithms and video surveillance applications. The task of person re-identification is to determine which person in a gallery has the same identity to a probe image. This task basically assumes that the subject of the probe image belongs to the gallery, that is, the gallery contains this person. However, in practical applications such as searching a suspect in a video, this assumption is usually not true. In this paper, we consider the open-set person re-identification problem, which includes two sub-tasks, detection and identification. The detection sub-task is to determine the presence of the probe subject in the gallery, and the identification sub-task is to determine which person in the gallery has the same identity as the accepted probe. We present a database collected from a video surveillance setting of 6 cameras, with 200 persons and 7,413 images segmented. Based on this database, we develop a benchmark protocol for evaluating the performance under the open-set person re-identification scenario. Several popular metric learning algorithms for person re-identification have been evaluated as baselines. From the baseline performance, we observe that the open-set person re-identification problem is still largely unresolved, thus further attention and effort is needed.

研究动机与目标

• 解决闭集行人重识别在真实世界监控中所存在的局限性，即查询主体可能不在图库中。
• 构建一个包含检测（图库中是否存在）和识别（匹配身份）任务的开放集行人重识别真实基准。
• 评估度量学习算法在未见人员和未知摄像头视角下的泛化能力。
• 提供公开可用的数据集、特征和基准测试工具，以促进开放集行人重识别的研究。
• 突出当前方法在开放集条件下存在的关键性能差距，呼吁进一步的算法开发。

提出的方法

• 从6个摄像头收集多摄像头监控数据集，包含200名人员和7,413张分割图像，形成 OPeRID v1.0 数据集。
• 设计一个基准协议，包含四个子集：训练集、图库集、真实查询集和伪造查询集，其中测试集 = 图库集 + 查询集（真实 + 伪造）。
• 在训练集上训练通用的、与相机无关的行人重识别模型，以评估其在未见人员和相机视角下的泛化能力。
• 实现并评估多种度量学习算法：Identity（欧氏距离）、MAHAL（马氏距离）、LMNN、ITML、KISSME、LADF，以及一种新型基于岭回归的判别分析（RRDA）。
• 在RRDA生成的子空间上使用余弦相似度进行相似度度量，并应用阈值规则实现开放集检测。
• 使用ROC曲线（rank=1 和 rank=10）、FAR=1% 和 10% 时的CMC曲线，以及固定FAR下的检测率/识别率来评估性能。

实验结果

研究问题

• RQ1 现有度量学习算法在开放集行人重识别中的泛化能力如何，即查询主体可能不在图库中？
• RQ2 在真实法证监控条件下，闭集与开放集行人重识别之间的性能差距有多大？
• RQ3 哪种度量学习算法在检测查询行人是否存在于图库中以及在存在时进行识别方面表现最佳？
• RQ4 通过岭回归获得的判别子空间（RRDA）在多大程度上提升了开放集检测与识别性能，相较于其他方法？
• RQ5 在开放集设置下，固定错误接受率（FAR=1% 和 10%）时，检测率与识别率如何变化？

主要发现

• 开放集行人重识别问题在当前条件下仍基本未解决，所有评估算法在真实运行环境下表现均较差。
• 在FAR=1%时，表现最佳的算法RRDA在rank=1下仅达到3.99%的检测率，在rank=10下为4.35%，表明其对未见身份的泛化能力极弱。
• 在FAR=10%时，RRDA在rank=1下达到14.51%的检测率，在rank=10下为16.72%，尽管为最优表现，但仍远未达到实际应用所需水平。
• 所有算法在rank 10之后均无明显提升，表明低rank下的真实匹配得分始终低于决策阈值。
• 即使是最优算法（RRDA）在FAR=10%时检测率仍低于17%，凸显了对新方法的迫切需求。
• 简单的RRDA方法优于所有其他基线模型，包括KISSME、MAHAL和LADF，证明其在开放集场景下的鲁棒性。