[论文解读] Unsupervised Person Re-identification via Multi-label Classification

Dongkai Wang, Shiliang Zhang|arXiv (Cornell University)|Apr 20, 2020

Video Surveillance and Tracking Methods被引用 35

一句话总结

本文将无监督的人员再识别（Re-ID）表述为多标签分类，使用基于记忆的标签预测（MPLP）和基于记忆的多标签分类损失（MMCL），在经典ReID数据集上实现了强大的无监督和迁移学习结果。

ABSTRACT

The challenge of unsupervised person re-identification (ReID) lies in learning discriminative features without true labels. This paper formulates unsupervised person ReID as a multi-label classification task to progressively seek true labels. Our method starts by assigning each person image with a single-class label, then evolves to multi-label classification by leveraging the updated ReID model for label prediction. The label prediction comprises similarity computation and cycle consistency to ensure the quality of predicted labels. To boost the ReID model training efficiency in multi-label classification, we further propose the memory-based multi-label classification loss (MMCL). MMCL works with memory-based non-parametric classifier and integrates multi-label classification and single-label classification in a unified framework. Our label prediction and MMCL work iteratively and substantially boost the ReID performance. Experiments on several large-scale person ReID datasets demonstrate the superiority of our method in unsupervised person ReID. Our method also allows to use labeled person images in other domains. Under this transfer learning setting, our method also achieves state-of-the-art performance.

研究动机与目标

• 解决在没有真实标签的情况下学习具有辨识性的ReID特征的挑战。
• 将无监督ReID表述为渐进的多标签分类，以发现真实身份。
• 开发MPLP，使用记忆库和循环一致性来预测可靠的多标签。
• 引入MMCL，使在大量类别情况下的训练更高效、梯度友好。
• 在大型ReID数据集上展示强大的无监督和迁移学习性能。

提出的方法

• 将每个未标注的图像视为一个潜在类别，并逐步预测用于训练的多标签。
• 使用记忆库M存储图像特征；通过利用相似性和循环一致性，用MPLP预测标签。
• 使用基于记忆的多标签分类损失（MMCL）进行训练，该损失利用 M^T f_i 分数且在预测标签时不使用sigmoid，包括硬负样本挖掘。
• 在每次迭代后使用指数滑动平均更新记忆库并对特征进行L2归一化。
• 应用数据增强（如CamStyle）以提升特征鲁棒性和标签预测的可靠性。
• 通过将MMCL与标准有标注数据的损失结合，提供一个迁移学习选项。

实验结果

研究问题

• RQ1 是否可以通过迭代预测多标签（通过MPLP）并在没有任何标注数据的情况下使用MMCL进行训练来实现无监督的ReID？
• RQ2 基于记忆的标签预测是否能提高伪标签在多标签训练中的质量和一致性？
• RQ3 MMCL是否解决了多标签学习在大量类别下固有的梯度消失和类别不平衡问题？
• RQ4 在Market-1501、DukeMTMC-reID和MSMT17上，在完全无监督设置和迁移学习情景下，该方法的性能如何？

主要发现

• 在Market-1501上，无监督的MMCL+MPLP达到 rank-1 80.3% 和 mAP 45.5%，比以前的无监督方法有显著提升。
• 进行迁移学习（以DukeMTMC-reID作为源）时，Market-1501的rank-1达到84.4%。
• 在MSMT17上，该方法在无监督模式下达到35.4%的rank-1，在迁移设置下为43.6%/58.9%（rank-1/Rank-10），在一个更大、更难的数据集上展示了有竞争力的性能。
• 消融研究表明MPLP优于KNN和基于SS的标签预测，且MMCL优于基于交叉熵的损失，尤其是在硬负样本挖掘时。
• CamStyle数据增强显著提升了性能，证实数据增强在无监督ReID中的重要性。
• MMCL避免了基于sigmoid的训练低效，并通过对归一化分数的平方损失和有针对性的硬负样本挖掘缓解梯度消失。