[论文解读] Person Re-identification by Local Maximal Occurrence Representation and Metric Learning

Shengcai Liao, Yang Hu+2 more|arXiv (Cornell University)|Jun 17, 2014

Video Surveillance and Tracking Methods参考文献 26被引用 4

一句话总结

本文提出了一种新颖的行人重识别方法，结合局部最大出现（LOMO）特征表示与跨视角二次判别分析（XQDA），以实现鲁棒的度量学习。LOMO通过在水平窗口内最大化局部特征的出现次数，增强对视角变化的鲁棒性；XQDA则通过广义特征值分解学习一个判别性低维子空间与度量，实现了在四个基准数据集上的最先进性能，rank-1准确率提升达2.2%至31.55%。

ABSTRACT

Person re-identification is an important technique towards automatic search of a person's presence in a surveillance video. Two fundamental problems are critical for person re-identification, feature representation and metric learning. An effective feature representation should be robust to illumination and viewpoint changes, and a discriminant metric should be learned to match various person images. In this paper, we propose an effective feature representation called Local Maximal Occurrence (LOMO), and a subspace and metric learning method called Cross-view Quadratic Discriminant Analysis (XQDA). The LOMO feature analyzes the horizontal occurrence of local features, and maximizes the occurrence to make a stable representation against viewpoint changes. Besides, to handle illumination variations, we apply the Retinex transform and a scale invariant texture operator. To learn a discriminant metric, we propose to learn a discriminant low dimensional subspace by cross-view quadratic discriminant analysis, and simultaneously, a QDA metric is learned on the derived subspace. We also present a practical computation method for XQDA, as well as its regularization. Experiments on four challenging person re-identification databases, VIPeR, QMUL GRID, CUHK Campus, and CUHK03, show that the proposed method improves the state-of-the-art rank-1 identification rates by 2.2%, 4.88%, 28.91%, and 31.55% on the four databases, respectively.

研究动机与目标

• 通过鲁棒的特征表示解决行人重识别中视角与光照变化的挑战。
• 通过联合学习子空间与度量，克服两阶段度量学习（如PCA后接度量学习）的局限性。
• 开发一种高效且有效的方法，在多个公开的行人重识别基准上提升最先进性能。
• 为实际部署提供实用的计算解决方案，包括正则化与维度选择。
• 支持未来研究与基准测试，开放源代码发布。

提出的方法

• 提出局部最大出现（LOMO）特征表示方法，通过在滑动窗口内最大化局部特征的水平出现次数，提升对视角变化的鲁棒性。
• 应用Retinex变换与尺度不变纹理算子，减轻行人图像中的光照变化影响。
• 引入跨视角二次判别分析（XQDA），一种将子空间与度量联合学习的方法，其形式化为广义瑞利商。
• 利用广义特征值分解推导出XQDA的闭式解，实现高效计算。
• 实现XQDA的实际计算方法，包括正则化与基于特征值阈值的自动维度选择。
• 将LOMO与XQDA整合到统一的行人重识别框架中，并在多个数据集上进行端到端评估。

实验结果

研究问题

• RQ1 最大化局部特征在水平方向的出现次数，是否能提升行人重识别中对视角变化的鲁棒性？
• RQ2 像XQDA这样的联合子空间与度量学习方法，是否优于传统的两阶段方法（如PCA + 度量学习）？
• RQ3 LOMO与XQDA的结合在处理多种数据集中的光照与姿态变化方面效果如何？
• RQ4 XQDA的最优子空间维度是多少？其对性能与计算成本有何影响？
• RQ5 所提出的方法是否能在保持计算效率的同时实现最先进性能？

主要发现

• 与未使用局部最大出现操作的基线相比，LOMO特征在VIPeR数据集上将rank-1准确率提升了8.86个百分点（从11.39%提升至20.25%）。
• 在VIPeR数据集上，XQDA方法在子空间维度为100时达到30.1%的rank-1准确率，且在超过100维后性能保持稳定。
• 所提方法在VIPeR上将最先进rank-1识别率提升2.2%，在QMUL GRID上提升4.88%，在CUHK Campus上提升28.91%，在CUHK03上提升31.55%。
• LOMO特征提取器处理每张$128 \times 48$图像仅需0.012秒，展现出极高的计算效率。
• XQDA在VIPeR上的训练时间仅为1.86秒，远快于迭代方法如ITML（36.78秒）与LMNN（265.28秒）。
• 所提方法在全部四个基准数据集上均实现一致的性能提升，证实了其鲁棒性与泛化能力。