[论文解读] Person Re-identification with Correspondence Structure Learning

Yang Shen, Weiyao Lin+4 more|arXiv (Cornell University)|Apr 23, 2015

Video Surveillance and Tracking Methods参考文献 14被引用 15

一句话总结

本文提出了一种用于行人重识别的新颖框架，通过学习对应结构来建模由摄像头视角和姿态变化引起的空间错位。采用基于提升的方法学习来自摄像头配对图像的局部区域匹配概率，并结合全局约束以优化匹配分数，该方法在多个基准测试中实现了最先进性能，包括一个新的Road数据集，其CMC rank-1准确率达到61.5%。

ABSTRACT

This paper addresses the problem of handling spatial misalignments due to camera-view changes or human-pose variations in person re-identification. We first introduce a boosting-based approach to learn a correspondence structure which indicates the patch-wise matching probabilities between images from a target camera pair. The learned correspondence structure can not only capture the spatial correspondence pattern between cameras but also handle the viewpoint or human-pose variation in individual images. We further introduce a global-based matching process. It integrates a global matching constraint over the learned correspondence structure to exclude cross-view misalignments during the image patch matching process, hence achieving a more reliable matching score between images. Experimental results on various datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决由于摄像头视角变化和姿态差异导致的行人重识别中的空间错位问题。
• 通过学习的对应结构，对固定摄像头配对之间建立稳定的跨视角空间对应模式。
• 通过匹配过程中的全局约束，减少由于外观模糊或遮挡引起的局部区域匹配错误。
• 开发一种适用于固定和非固定摄像头配置的灵活框架。
• 建立一个新的基准数据集Road，用于在具有挑战性的现实条件下评估行人Re-ID性能。

提出的方法

• 采用基于提升的方法学习对应结构，以编码目标摄像头配对图像之间局部区域的匹配概率。
• 对应结构表示为匹配概率矩阵，捕捉受摄像头几何结构和视角约束的空间对应模式。
• 采用一对一多图表示法，建模每个局部区域与多个候选区域之间的对应关系，以适应姿态和视角的变化。
• 基于全局的匹配过程将全局约束整合到学习到的对应结构中，以在局部区域匹配过程中抑制跨视角错位。
• 全局约束通过强制整体匹配模式的一致性，提升可靠性，排除错误匹配的区域对。
• 该框架在多个基准数据集上进行训练和评估，包括VIPeR、PRID 450S、3DPeS以及一个新的Road数据集。

实验结果

研究问题

• RQ1 所学习的对应结构能否有效建模由于摄像头视角差异和姿态变化引起的行人重识别中的空间错位？
• RQ2 将全局约束与对应结构结合，如何提升匹配的可靠性并减少误报？
• RQ3 所提出的方法能否在固定和非固定摄像头配置下均实现良好泛化？
• RQ4 所提出的对应结构学习方法是否优于启发式或平均值假设的对应关系？
• RQ5 在标准和新基准数据集上，所提出方法与最先进方法相比表现如何？

主要发现

• 在VIPeR数据集上，所提方法达到34.8%的CMC rank-1准确率，优于次佳方法（kLFDA为32.3%）和无结构基线（27.5%）。
• 在PRID 450S数据集上，方法达到44.4%的CMC rank-1准确率，超过无结构基线（39.6%）和无全局约束变体（42.7%）。
• 在3DPeS数据集上，方法达到57.9%的CMC rank-1准确率，超过无结构基线（51.6%）和无全局约束变体（54.7%）。
• 在新的Road数据集上，方法达到61.5%的CMC rank-1准确率，显著优于无结构基线（50.5%）和无全局约束变体（58.2%）。
• 消融实验表明，与无结构和简单平均基线相比，对应结构显著提升了性能，证明其在减少错位错误方面的有效性。
• 全局约束进一步提升了仅使用对应结构时的性能，证实其在优化匹配可靠性方面的价值。