[论文解读] Nonlinear Local Metric Learning for Person Re-identification

Siyuan Huang, Jiwen Lu+2 more|arXiv (Cornell University)|Nov 16, 2015

Video Surveillance and Tracking Methods参考文献 22被引用 22

一句话总结

该论文提出了一种非线性局部度量学习（NLML）方法，用于行人重识别，通过将深度神经网络与局部度量学习相结合，以建模跨摄像头视图的复杂非线性特征变化。通过采用基于边距的优化策略，在全局与局部网络架构中学习多种非线性变换，NLML在VIPeR、GRID和CUHK 01数据集上实现了最先进性能，显著提升了现有度量学习方法的rank-1准确率。

ABSTRACT

Person re-identification aims at matching pedestrians observed from non-overlapping camera views. Feature descriptor and metric learning are two significant problems in person re-identification. A discriminative metric learning method should be capable of exploiting complex nonlinear transformations due to the large variations in feature space. In this paper, we propose a nonlinear local metric learning (NLML) method to improve the state-of-the-art performance of person re-identification on public datasets. Motivated by the fact that local metric learning has been introduced to handle the data which varies locally and deep neural network has presented outstanding capability in exploiting the nonlinearity of samples, we utilize the merits of both local metric learning and deep neural network to learn multiple sets of nonlinear transformations. By enforcing a margin between the distances of positive pedestrian image pairs and distances of negative pairs in the transformed feature subspace, discriminative information can be effectively exploited in the developed neural networks. Our experiments show that the proposed NLML method achieves the state-of-the-art results on the widely used VIPeR, GRID, and CUHK 01 datasets.

研究动机与目标

• 为解决由于非重叠摄像头之间姿态、光照和视角变化导致的行人重识别中类内大变化问题。
• 通过建模特征空间中线性或全局度量无法捕捉的复杂非线性关系，提升判别性度量学习性能。
• 通过将局部度量学习与深度神经网络相结合，自适应地加权不同局部特征区域，以提升性能。
• 开发一种统一框架，通过大边距优化联合学习全局与局部非线性变换。
• 通过消融实验与对比实验验证局部与非线性度量学习组件的有效性。

提出的方法

• 该方法采用混合深度神经网络架构，包含一个全局网络和K个局部网络，每个局部网络负责一个独立的局部特征聚类。
• 对于每对图像，计算非负权重以确定每个局部网络的贡献，基于特征相似性。
• 最终的距离度量是来自全局和局部网络的K+1个距离矩阵的加权线性组合。
• 通过大边距优化进行模型训练，强制正样本对（同一人）距离更小，负样本对（不同人）距离更大。
• 使用梯度下降优化网络参数，并通过正则化平衡全局与局部贡献。
• 输入使用LOMO和ELF特征，维度降低至500以提升效率并保持实验间的一致性。

实验结果

研究问题

• RQ1 将局部度量学习与深度非线性变换相结合，能否提升在具有挑战性的数据集上的行人重识别性能？
• RQ2 局部与非线性度量学习组件在性能提升中的单独与联合贡献如何？
• RQ3 在不同数据集上实现鲁棒性能的最优局部聚类数（K）和全局权重（β）是多少？
• RQ4 所提出的NLML方法是否在标准基准上优于现有最先进度量学习方法？
• RQ5 该模型在具有不同姿态、视角和分辨率变化水平的数据集之间是否具备良好的泛化能力？

主要发现

• 在VIPeR数据集上，NLML使用LOMO特征实现了66.77%的rank-1匹配率，优于先前最先进方法。
• 在GRID数据集上，NLML使用LOMO特征实现了20.56%的rank-1准确率，展现出在高挑战性、低分辨率数据集上的强大性能。
• 使用ELF6特征在GRID数据集上，NLML优于其他度量学习方法，证实了其在不同特征类型下的鲁棒性。
• 在CUHK 01数据集上，NLML实现了具有竞争力的CMC曲线性能，表明其相对于基线度量学习方法的一致性改进。
• 消融研究证实，局部度量学习与非线性变换组件均不可或缺，因为NLML在性能上优于NLML1（无局部学习）与NLML2（无非线性学习）。
• 最优性能在VIPeR上对应K=4，在GRID上对应K=3，β=1.5时实现了全局与局部贡献的最佳平衡。