[论文解读] Unsupervised Pre-training for Person Re-identification

Dengpan Fu, Dongdong Chen+6 more|arXiv (Cornell University)|Dec 7, 2020

Video Surveillance and Tracking Methods参考文献 41被引用 5

一句话总结

该论文提出了 LUPerson，一个包含 400 万张图像、20 万个身份的无监督预训练数据集，用于行人重识别（Re-ID）。实验表明，在大规模、多样化的该数据集上进行自监督预训练，能显著提升 Re-ID 特征的泛化能力。通过精心设计数据增强和对比损失组件——避免有害的颜色抖动并使用 RandomErasing——该方法在多个 Re-ID 基准上实现了最先进性能，相较于基线方法，在 Market1501 上 mAP 提升高达 3.5%，在 CUHK03 上提升 2.9%，且无需额外调优或后处理。

ABSTRACT

In this paper, we present a large scale unlabeled person re-identification (Re-ID) dataset "LUPerson" and make the first attempt of performing unsupervised pre-training for improving the generalization ability of the learned person Re-ID feature representation. This is to address the problem that all existing person Re-ID datasets are all of limited scale due to the costly effort required for data annotation. Previous research tries to leverage models pre-trained on ImageNet to mitigate the shortage of person Re-ID data but suffers from the large domain gap between ImageNet and person Re-ID data. LUPerson is an unlabeled dataset of 4M images of over 200K identities, which is 30X larger than the largest existing Re-ID dataset. It also covers a much diverse range of capturing environments (eg, camera settings, scenes, etc.). Based on this dataset, we systematically study the key factors for learning Re-ID features from two perspectives: data augmentation and contrastive loss. Unsupervised pre-training performed on this large-scale dataset effectively leads to a generic Re-ID feature that can benefit all existing person Re-ID methods. Using our pre-trained model in some basic frameworks, our methods achieve state-of-the-art results without bells and whistles on four widely used Re-ID datasets: CUHK03, Market1501, DukeMTMC, and MSMT17. Our results also show that the performance improvement is more significant on small-scale target datasets or under few-shot setting.

研究动机与目标

• 为解决现有行人 Re-ID 数据集规模有限、多样性不足的问题，这些限制了模型的有效训练。
• 探究在大规模、未标注的 Re-ID 数据集上进行无监督预训练，是否能提升特征泛化能力并减少对昂贵标注的依赖。
• 识别关键设计因素（如数据增强和对比损失配置），以使自监督学习在 Re-ID 中更有效。
• 证明无监督预训练可泛化至监督和无监督 Re-ID 方法，在小样本和少样本设置下均能提升性能。

提出的方法

• 构建了 LUPerson，一个大规模未标注 Re-ID 数据集，包含来自 46,000 段 YouTube 视频的 400 万张图像，涵盖多样的摄像头类型、场景和分辨率。
• 采用基于 MoCo v2 的对比自监督学习框架作为主干，但对关键组件进行了调整以适配 Re-ID 的特定需求。
• 识别出颜色抖动对 Re-ID 有害，因此在数据增强中排除了该操作，以保留颜色作为关键判别线索。
• 引入 RandomErasing 作为强数据增强策略，以防止对比学习过程中陷入平凡解。
• 优化对比损失中的温度参数，以平衡特征判别能力与难样本挖掘。
• 在多个 Re-ID 基准上评估预训练模型，采用强基线方法（如 MGN、BDB）和无监督方法（如 SpCL），且未进行后处理或额外微调。

实验结果

研究问题

• RQ1 在像 LUPerson 这样大规模、未标注、多样化的 Re-ID 数据集上进行无监督预训练，是否能显著提升行人 Re-ID 特征的泛化能力？
• RQ2 标准对比学习组件（如颜色抖动和 RandomErasing）如何影响 Re-ID 性能？为获得最佳结果，需要进行哪些修改？
• RQ3 与全规模数据集相比，无监督预训练在小规模或少样本 Re-ID 数据集上是否带来更大的性能增益？
• RQ4 预训练表征是否能泛化至监督和无监督 Re-ID 框架，从而提升最先进性能？
• RQ5 对比损失中的温度参数在平衡 Re-ID 的特征判别能力与难样本挖掘方面起到什么作用？

主要发现

• 在 MGN 基线模型上使用 LUPerson 进行无监督预训练，在 Market1501 上实现了 3.5% 的 mAP 提升，在 DukeMTMC 上实现了 2.7% 的 mAP 提升，超越了所有先前的 SOTA 方法。
• 在 CUHK03 上，该方法相较 BDB 基线实现了 2.9% 的 mAP 提升，优于此前的 SOTA 方法 SONA。
• 在小规模和少样本设置下，性能增益更加显著，证明了该方法在数据稀缺条件下的有效性。
• 在无监督自监督学习（USL）设置下，该预训练模型将最先进无监督方法 SpCL 的性能在 Market1501 上提升了 3.8 mAP，在 DukeMTMC 上提升了 2.2 mAP。
• 该方法在更大主干网络上也表现出良好的泛化能力，基于 ResNet101 的模型在 MSMT17 上达到 68.8% mAP，在 Market1501 上达到 92.0% mAP，显示出良好的可扩展性。
• 研究发现颜色抖动对 Re-ID 有害，而 RandomErasing 对防止模型崩溃至关重要，凸显了在对比学习中针对任务特异性设计的重要性。