[论文解读] Person Re-identification Meets Image Search

Liang Zheng, Liyue Shen+4 more|arXiv (Cornell University)|Feb 7, 2015

Video Surveillance and Tracking Methods参考文献 30被引用 63

一句话总结

本文提出将行人重识别视为一个图像搜索问题，采用无监督的词袋（BoW）表示方法，并结合空间建模与多查询建模，实现了具有竞争力的准确率，同时使搜索速度提升两个多月的量级。本文还引入了包含DPM检测边界框、干扰物以及多查询/多真实标签标注的Market-1501数据集，以支持更真实的评估。

ABSTRACT

For long time, person re-identification and image search are two separately studied tasks. However, for person re-identification, the effectiveness of local features and the "query-search" mode make it well posed for image search techniques. In the light of recent advances in image search, this paper proposes to treat person re-identification as an image search problem. Specifically, this paper claims two major contributions. 1) By designing an unsupervised Bag-of-Words representation, we are devoted to bridging the gap between the two tasks by integrating techniques from image search in person re-identification. We show that our system sets up an effective yet efficient baseline that is amenable to further supervised/unsupervised improvements. 2) We contribute a new high quality dataset which uses DPM detector and includes a number of distractor images. Our dataset reaches closer to realistic settings, and new perspectives are provided. Compared with approaches that rely on feature-feature match, our method is faster by over two orders of magnitude. Moreover, on three datasets, we report competitive results compared with the state-of-the-art methods.

研究动机与目标

• 通过将词袋技术适配到重识别任务中，弥合行人重识别与图像搜索之间的差距。
• 通过基于直方图的表示方法，解决现有重识别方法中暴力特征匹配效率低下的问题。
• 通过引入由检测器生成的边界框、干扰物以及多查询设置的大规模数据集，构建更真实的基准测试环境。
• 评估重识别方法在真实检测误差和复杂背景下的鲁棒性。
• 为未来监督与无监督的行人重识别改进提供可扩展、高效且有效的基线。

提出的方法

• 使用在局部特征上训练的码书构建无监督的词袋（BoW）表示，通过TF-IDF加权生成视觉词直方图。
• 通过将图像划分为水平条带，引入空间约束，并通过空间池化保留几何信息。
• 将同一身份的多个查询聚合为单一向量，以应对外观变化并提升鲁棒性。
• 应用后处理重排序步骤，通过点积比较的相似度分数对初始排名列表进行优化。
• 整合根描述符、负样本证据以及爆发性加权，以提升特征表示质量。
• 采用颜色名称（CN）与HS直方图（HS）特征的组合，并通过特征融合提升性能。

实验结果

研究问题

• RQ1 结合空间建模与多查询建模的词袋模型，是否能在显著提升效率的同时实现具有竞争力的重识别准确率？
• RQ2 在真实场景中，引入干扰物图像和DPM检测的边界框对重识别性能有何影响？
• RQ3 无监督的BoW表示在行人重识别任务中，能在多大程度上超越或匹配最先进的监督方法？
• RQ4 自动重排序在改善初始检索结果方面有多有效，尤其是在初始排名质量较差的情况下？
• RQ5 像Market-1501这样大规模且真实的基准数据集，能否作为在真实世界条件下评估重识别算法的稳健基准？

主要发现

• 所提出的基于BoW的方法相比SDC和SDALF，搜索速度提升了两个多月的量级，标准服务器上每张图像的总耗时仅为0.03秒。
• 在VIPeR数据集上，当结合CN、HS和eSDC特征时，该方法实现了32.15%的rank-1识别率，优于无监督基线方法。
• 在CUHK03数据集上，尽管为无监督方法，但使用多查询和HS特征时，该方法在rank-1准确率上仍比FPNN高出4.44%。
• 在Market-1501数据集上，该方法在所有指标上均持续优于SDALF、eSDC和KISSME，展现出在真实场景下的鲁棒性。
• 由DPM检测到的干扰物图像显著降低了识别准确率，凸显了在真实世界评估中对检测器错误鲁棒性的关键性。
• 自动重排序步骤仅在初始排名质量较高时才带来性能提升，表明高质量的初始特征对后处理增益至关重要。