[论文解读] PRISM: Person Re-Identification via Structured Matching

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Jun 13, 2014

Video Surveillance and Tracking Methods被引用 6

一句话总结

PRISM 提出了一种用于行人重识别的结构化匹配框架，通过建模跨摄像头视图的视觉词共现模式，提升在大范围外观变化下的匹配准确性。通过在加权二分图匹配设置中利用共现统计学习边权重，PRISM 在计算成本和存储需求较低的情况下实现了最先进性能。

ABSTRACT

Person re-identification (re-id), an emerging problem in visual surveillance, deals with maintaining entities of individuals whilst they traverse various locations surveilled by a camera network. From a visual perspective re-id is challenging due to significant changes in visual appearance of individuals in cameras with different pose, illumination and calibration. Globally the challenge arises from the need to maintain structurally consistent matches among all the individual entities across different camera views. We propose PRISM, a structured matching method to jointly account for these challenges. We view the global problem as a weighted graph matching problem and estimate edge weights by learning to predict them based on the co-occurrences of visual patterns in the training examples. These co-occurrence based scores in turn account for appearance changes by inferring likely and unlikely visual co-occurrences appearing in training instances. We implement PRISM on single shot and multi-shot scenarios. PRISM uniformly outperforms state-of-the-art in terms of matching rate while being computationally efficient.

研究动机与目标

• 解决监控系统中非重叠摄像头视图间外观显著变化带来的行人重识别挑战。
• 通过建模视觉词共现模式，克服跨视图行人匹配中的视觉模糊和空间失真问题。
• 将行人重识别建模为加权二分图匹配问题，以联合优化实体级匹配。
• 在保持计算效率和低存储需求的前提下实现高匹配准确率，适用于实际部署。
• 将方法扩展至单次采样和多次采样重识别场景，并保持一致的性能提升。

提出的方法

• 将行人重识别建模为加权二分图匹配问题，其中节点代表行人实体，边代表相似度得分。
• 基于从训练数据中提取的视觉词共现统计，使用结构化学习框架学习边权重。
• 基于不同摄像头图像对间视觉码字的共现模式定义基函数，捕捉鲁棒的外观变换。
• 使用带有隐变量条件密度的核均值嵌入，将视觉词的空间分布编码到同一潜在空间。
• 从训练数据统计中估计共现基函数的权重，以预测可能和不可能的视觉匹配。
• 应用结构化匹配以纠正错误的单体匹配，并提升实体匹配的全局一致性。

实验结果

研究问题

• RQ1 如何利用视觉词共现模式提升行人重识别在外观变化下的鲁棒性？
• RQ2 通过加权二分图优化的结构化匹配是否能优于传统的成对匹配方法？
• RQ3 在姿态、光照和标定变化下，引入视觉词空间分布如何增强跨视图匹配？
• RQ4 与标准外观特征相比，基于共现的基函数对匹配准确率有何影响？
• RQ5 所提方法在真实监控应用中能否在低存储和计算成本下保持高性能？

主要发现

• PRISM 在多个基准数据集上达到最先进性能，在 VIPeR 数据集的多张图设置下，rank-1 匹配率达到 22.6%。
• PRISM-iii 在 VIPeR 上实现 22.6% 的 rank-1 准确率，且每样本仅需 16.2 KB 存储空间，展现出高效率。
• 结构化匹配可纠正错误的单体匹配，定性结果表明 PRISM 能成功恢复非结构化基线遗漏的真实匹配。
• 在 316 张探测集和画廊集图像上，实体级匹配的计算时间降至 2 秒以内，其中 T3（结构化匹配）仅耗时 1.3–1.5 秒。
• PRISM 在所有设置下（包括单次采样和多次采样重识别）均持续优于 SOTA 方法如 KISSME 和 KISSME+SM。
• 基于共现的基函数有效建模了外观变换，如颜色偏移（例如白色变为浅蓝色），提升了对跨视图变化的鲁棒性。