[论文解读] Person Re-identification in the Wild

Liang Zheng, Hengheng Zhang+4 more|arXiv (Cornell University)|Apr 9, 2016

Video Surveillance and Tracking Methods参考文献 40被引用 34

一句话总结

本文提出了PRW数据集，这是一个大规模的视频基准数据集，用于野外场景下的端到端行人重识别，并提出了两种关键方法：通过检测数据进行级联微调以提升特征学习能力，以及通过加权检测分数来减少误报的置信加权相似度（CWS）。该方法在准确率上取得了显著提升，使用CWS和微调后，rank-1准确率最高提升了+9.17%。

ABSTRACT

We present a novel large-scale dataset and comprehensive baselines for end-to-end pedestrian detection and person recognition in raw video frames. Our baselines address three issues: the performance of various combinations of detectors and recognizers, mechanisms for pedestrian detection to help improve overall re-identification accuracy and assessing the effectiveness of different detectors for re-identification. We make three distinct contributions. First, a new dataset, PRW, is introduced to evaluate Person Re-identification in the Wild, using videos acquired through six synchronized cameras. It contains 932 identities and 11,816 frames in which pedestrians are annotated with their bounding box positions and identities. Extensive benchmarking results are presented on this dataset. Second, we show that pedestrian detection aids re-identification through two simple yet effective improvements: a discriminatively trained ID-discriminative Embedding (IDE) in the person subspace using convolutional neural network (CNN) features and a Confidence Weighted Similarity (CWS) metric that incorporates detection scores into similarity measurement. Third, we derive insights in evaluating detector performance for the particular scenario of accurate person re-identification.

研究动机与目标

• 为解决缺乏同时评估真实世界视频场景中行人检测与行人重识别的大规模数据集的问题。
• 探究通过模型设计和相似度度量方法，行人检测如何提升行人重识别的准确率。
• 识别适用于重识别性能的最优检测器选择标准和评估指标。
• 在统一基准上为最先进检测与识别模型提供全面的基线。

提出的方法

• 提出PRW数据集，包含932个身份和11,816帧视频，具有多摄像头、同步录制特性，并附带边界框和身份标注。
• 提出级联微调策略：首先在PRW数据集上训练检测模型（如R-CNN），然后使用检测标注数据对重识别模型（IDE）进行微调，以提升特征的判别能力。
• 开发置信加权相似度（CWS）相似度度量方法，通过在排序过程中引入检测置信度分数，降低误报检测的影响。
• 采用最先进模型，包括使用AlexNet、VGGNet和ResidualNet的R-CNN进行检测，以及使用度量学习的IDE进行重识别。
• 采用IoU > 0.7作为检测器的关键评估阈值，表明其比标准的IoU > 0.5更能预测重识别性能。
• 采用两阶段流程：在原始帧上进行行人检测以生成画廊，随后对查询和画廊嵌入进行相似度排序。

实验结果

研究问题

• RQ1 不同组合的行人检测器与重识别模型如何影响整体重识别准确率？
• RQ2 行人检测能否提升重识别性能？如果是，其作用机制是什么？
• RQ3 哪些检测器评估标准（如IoU阈值）最能预测重识别准确率的提升？
• RQ4 如何有效利用检测置信度以减少大规模画廊集合中的误报？

主要发现

• 当使用DPM_Alex检测器且每张图像包含3个检测结果时，级联微调策略可将重识别准确率在rank-1上提升最高达+9.17%。
• 在检测密度较高的情况下，使用检测数据微调的IDE描述符（IDE_det）性能显著优于ImageNet预训练权重（IDE_imgnet）。
• 置信加权相似度（CWS）度量方法能有效防止画廊规模增大时的准确率下降，在存在更多误报的情况下仍能保持高性能。
• IoU > 0.7比标准的IoU > 0.5更能有效反映检测器质量，凸显精确定位的重要性。
• PRW数据集使检测与重识别交互关系的系统性分析成为可能，揭示检测器定位精度是重识别成功的关键决定因素。
• 失败案例主要源于相似服装（如制服）或查询行人部分被截断，表明在外观和空间一致性方面仍存在局限。