[论文解读] Person Re-Identification by Deep Joint Learning of Multi-Loss Classification

Wei Li, Xiatian Zhu+1 more|arXiv (Cornell University)|May 12, 2017

Video Surveillance and Tracking Methods参考文献 29被引用 42

一句话总结

该论文提出了一种新颖的联合学习多损失（JLML）CNN模型，通过共享标签监督的双分支架构，同时优化局部和全局特征表示，用于行人重识别。通过强制执行多损失分类和结构化稀疏性，该模型在五个基准数据集上实现了最先进性能，仅使用L2距离匹配时，mAP相比强基线模型最高提升1.7%。

ABSTRACT

Existing person re-identification (re-id) methods rely mostly on either localised or global feature representation alone. This ignores their joint benefit and mutual complementary effects. In this work, we show the advantages of jointly learning local and global features in a Convolutional Neural Network (CNN) by aiming to discover correlated local and global features in different context. Specifically, we formulate a method for joint learning of local and global feature selection losses designed to optimise person re-id when using only generic matching metrics such as the L2 distance. We design a novel CNN architecture for Jointly Learning Multi-Loss (JLML) of local and global discriminative feature optimisation subject concurrently to the same re-id labelled information. Extensive comparative evaluations demonstrate the advantages of this new JLML model for person re-id over a wide range of state-of-the-art re-id methods on five benchmarks (VIPeR, GRID, CUHK01, CUHK03, Market-1501).

研究动机与目标

• 为解决现有行人重识别方法仅依赖局部或全局特征时性能不佳的问题，通过联合学习两种特征表示。
• 在相同身份监督下，利用局部与全局特征之间的互补相关性，提升对姿态变化、遮挡和错位的鲁棒性。
• 构建统一的深度学习框架，同时优化局部与全局分支的判别性特征选择，并通过结构化稀疏性最小化冗余。
• 证明联合学习结合多损失分类可提升性能，即使仅使用通用L2距离，也无需复杂度量学习。

提出的方法

• 设计双分支CNN架构：一个分支用于局部特征学习（身体部位），另一个用于全局特征学习（边界框内完整行人）。
• 引入分支间交互机制，以促进局部与全局表示之间的相关性，同时保持独立的判别性学习目标。
• 在相同身份标签约束下，为每个分支分别应用损失函数——分类使用交叉熵，特征选择使用结构化稀疏性。
• 引入结构化稀疏性机制（公式6），选择性地剪枝冗余特征，从而增强判别能力并减少冗余。
• 采用ResNet-39作为主干网络，并通过多损失优化端到端训练，联合提升局部与全局特征质量。
• 采用通用匹配度量（L1/L2）进行评估，证明模型在无需度量特定适配的情况下仍具备灵活性与鲁棒性。

实验结果

研究问题

• RQ1 与仅使用单一类型特征的方法相比，联合学习局部与全局特征是否能提升行人重识别性能？
• RQ2 特征学习中的结构化稀疏性如何影响局部与全局表示的判别性质量与冗余性？
• RQ3 当仅使用L2距离等通用匹配度量时，JLML模型是否仍能保持强性能，而无需额外度量学习？
• RQ4 在JLML框架中，局部特征分解的最优身体部位数量是多少？
• RQ5 在处理错位与遮挡时，局部与全局特征的互补效应如何比较？

主要发现

• JLML模型在五个基准数据集上实现最先进性能，多查询评估下在Market-1501数据集上Rank-1准确率达到89.7%，mAP达到74.5%。
• 基于结构化稀疏性的选择性特征学习（SFL）机制在单查询Market-1501设置下，使mAP提升1.7%（从63.8%增至65.5%），Rank-1提升1.7%（从83.4%增至85.1%）。
• 使用L1或L2距离进行匹配时性能几乎相同，证实模型对通用度量具有鲁棒性与灵活性。
• 四个身体部位（头部+肩膀、上半身、上半身腿、下半身腿）达到最优性能，使用2、6、8或10个部位时准确率下降。
• 在六张探测图像的定性对比中显示，局部特征在错位与遮挡情况下显著优于全局特征。
• 向JLML特征中添加传统度量学习方法（如XQDA、KISSME、CRAFT）未带来任何增益，甚至可能降低性能，表明JLML具备更优越的内在特征质量。