[论文解读] Person Re-identification via Structured Prediction.

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Jun 13, 2014

Face recognition and analysis被引用 3

一句话总结

本文提出了一种用于行人重识别的结构化预测框架，通过学习基函数和局部敏感共现度量，对两个摄像头视图中的视觉模式共现关系，实现对行人图像的联合匹配。在 VIPeR 和 CUHK Campus 数据集上分别取得了 38.92% 和 56.69% 的 rank-1 准确率，分别较之前的方法提升了 8.76% 和 28.24%，达到当前最优性能。

ABSTRACT

The goal of person re-identification (re-id) is to maintain the identity of an indi-vidual in diverse locations through different non-overlapping camera views. Re-id is fundamentally challenging because of appearance changes resulting from dif-fering pose, illumination and camera calibration of the two views. Existing lit-erature deals with the two-camera problem and proposes methods that seek to match a single image viewed in one camera to a gallery of images in the other. We propose structured prediction as a way to learn simultaneous matches across the two camera views. We deal with appearance changes in our prediction model through basis functions that encode co-occurrences of visual patterns in the two images. We develop locality sensitive co-occurrence measures as a way to incor-porate semantically meaningful appearance changes. Empirical performance of our method on two benchmark re-id datasets, VIPeR [12] and CUHK Campus [38], achieves accuracy rates of 38.92 % and 56.69%, at rank-1 on the so-called Cumulative Match Characteristic curves and beats the state-of-the-art results by 8.76 % and 28.24%. 1

研究动机与目标

• 解决由于姿态、光照和摄像头差异导致的外观变化对行人重识别带来的挑战。
• 克服现有双摄像头重识别方法仅将单张图像与图像库进行匹配的局限性。
• 开发一种联合匹配框架，实现对两个摄像头视图中图像的同步预测。
• 通过局部敏感共现度量，整合具有语义意义的外观变化。
• 在基准数据集上，超越现有最先进方法，提升重识别准确率。

提出的方法

• 使用结构化预测建模两个非重叠摄像头视图中行人图像的联合匹配。
• 定义基函数，以编码对应图像对之间视觉模式的共现关系。
• 设计局部敏感共现度量，以捕捉具有语义意义的外观变化。
• 训练判别模型，利用学习到的基函数预测匹配关系。
• 使用结构化预测技术端到端优化预测模型，以处理复杂的输出结构。
• 利用共现结构提升模型在不同摄像头视图下对外观变化的鲁棒性。

实验结果

研究问题

• RQ1 通过建模两个摄像头视图中的联合匹配，结构化预测能否提升行人重识别性能？
• RQ2 编码视觉模式共现关系的基函数在捕捉姿态和光照引起的外观变化方面效果如何？
• RQ3 局部敏感共现度量在多大程度上增强了模型对外观变化的泛化能力？
• RQ4 所提出的方法是否在标准行人重识别基准上超越了现有的最先进方法？

主要发现

• 在 VIPeR 数据集上，所提方法取得了 38.92% 的 rank-1 准确率，较之前最先进方法高出 8.76 个百分点。
• 在 CUHK Campus 数据集上，方法达到了 56.69% 的 rank-1 准确率，较之前最先进方法提升 28.24%。
• 使用编码视觉模式共现关系的基函数，显著增强了模型在外观变化下的泛化能力。
• 局部敏感共现度量有效将具有语义意义的外观变化整合进预测框架。
• 与单图对图库匹配策略相比，结构化预测方法能实现更鲁棒、更准确的跨摄像头联合匹配。
• 在两个基准数据集上的实证结果证实了该方法在真实世界重识别场景中的有效性与泛化能力。