[论文解读] Rethinking Person Re-identification from a Projection-on-Prototypes Perspective

Qizao Wang, Xuelin Qian+3 more|arXiv (Cornell University)|Aug 21, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

本文提出ProNet，一种新颖的行人重识别基线模型，通过将分类器权重视为类别原型，在推理时保留分类器。通过将特征投影到这些原型上，并在投影空间中同时使用三元组损失和身份分类损失，ProNet在性能上显著优于传统方法（后者在推理时丢弃分类器），且ProNet++在多个基准测试中超越了基于Transformer的模型。

ABSTRACT

Person Re-IDentification (Re-ID) as a retrieval task, has achieved tremendous development over the past decade. Existing state-of-the-art methods follow an analogous framework to first extract features from the input images and then categorize them with a classifier. However, since there is no identity overlap between training and testing sets, the classifier is often discarded during inference. Only the extracted features are used for person retrieval via distance metrics. In this paper, we rethink the role of the classifier in person Re-ID, and advocate a new perspective to conceive the classifier as a projection from image features to class prototypes. These prototypes are exactly the learned parameters of the classifier. In this light, we describe the identity of input images as similarities to all prototypes, which are then utilized as more discriminative features to perform person Re-ID. We thereby propose a new baseline ProNet, which innovatively reserves the function of the classifier at the inference stage. To facilitate the learning of class prototypes, both triplet loss and identity classification loss are applied to features that undergo the projection by the classifier. An improved version of ProNet++ is presented by further incorporating multi-granularity designs. Experiments on four benchmarks demonstrate that our proposed ProNet is simple yet effective, and significantly beats previous baselines. ProNet++ also achieves competitive or even better results than transformer-based competitors.

研究动机与目标

• 为解决行人重识别中训练与推理之间的差距，即尽管分类器包含有用的身份知识，但在推理时仍被丢弃的问题。
• 将分类器重新构想为从图像特征到类别原型的投影机制，以改善身份表征。
• 证明在推理过程中保留分类器可增强特征的可分性与检索性能。
• 建立一种简单但有效的基线模型，无需复杂架构或辅助数据即可超越现有方法。

提出的方法

• 将分类器学习到的权重解释为类别原型，从而实现从图像特征到原型空间的特征投影。
• 将图像特征投影到这些原型上，其与所有原型的相似度构成一种新的、更具可分性的表示，用于Re-ID。
• 在投影后的特征上联合应用三元组损失和身份分类损失，以优化原型及其可分性。
• 将该方法集成到ResNet-50主干网络中，使用单个全连接层作为分类器，形成ProNet基线模型。
• 增强版本ProNet++引入受PCB启发的多粒度特征学习机制，进一步提升性能。
• 该框架支持端到端训练，同时在原型投影特征上施加度量学习与分类监督。

实验结果

研究问题

• RQ1 在推理过程中保留分类器是否能通过利用学习到的类别原型来提升行人重识别性能？
• RQ2 与标准特征提取相比，将特征投影到类别原型上如何增强可分性特征学习？
• RQ3 一个仅保留分类器的简单模型能否超越复杂的架构，包括基于Transformer的模型？
• RQ4 在投影特征上而非原始特征上应用三元组损失和分类损失会产生何种影响？

主要发现

• 与在推理时丢弃分类器的传统基线相比，ProNet在Market-1501上实现+2.6% mAP提升，在CUHK03上实现+13.5% mAP提升。
• 通过t-SNE可视化证实，投影到类别原型上的特征空间展现出显著更优的类内紧凑性与类间可分性。
• 在Top-10检索结果中，ProNet++能更准确地检索出具有大视角和姿态变化的困难样本，同时减少因外观相似但身份不同的样本导致的误报。
• 尽管架构更简单且未使用注意力机制，ProNet++在性能上仍达到或超越最先进的基于Transformer的模型（如TransReID）。
• 在投影特征上同时使用三元组损失和分类损失，可生成更有效且鲁棒的类别原型，从而提升泛化能力与可分性。