[论文解读] UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification

Tianyu Zhang, Lingxi Xie+5 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 49被引用 5

一句话总结

UnrealPerson 提出了一种无需成本的人体重识别流程，利用高质量、可控制的合成行人图像，并免费提供实例级标注。通过在 3,000 个身份的合成数据上进行预训练，该模型在 MSMT17 上实现了 38.5% 的 rank-1 准确率——几乎将先前基于合成数据的结果翻倍，并超越了真实数据基线，实现了强大的零样本迁移能力，并可适应低光照或穿黑色衣物等具有挑战性的场景。

ABSTRACT

The main difficulty of person re-identification (ReID) lies in collecting annotated data and transferring the model across different domains. This paper presents UnrealPerson, a novel pipeline that makes full use of unreal image data to decrease the costs in both the training and deployment stages. Its fundamental part is a system that can generate synthesized images of high-quality and from controllable distributions. Instance-level annotation goes with the synthesized data and is almost free. We point out some details in image synthesis that largely impact the data quality. With 3,000 IDs and 120,000 instances, our method achieves a 38.5% rank-1 accuracy when being directly transferred to MSMT17. It almost doubles the former record using synthesized data and even surpasses previous direct transfer records using real data. This offers a good basis for unsupervised domain adaption, where our pre-trained model is easily plugged into the state-of-the-art algorithms towards higher accuracy. In addition, the data distribution can be flexibly adjusted to fit some corner ReID scenarios, which widens the application of our pipeline. We will publish our data synthesis toolkit and synthesized data in https://github.com/FlyHighest/UnrealPerson.

研究动机与目标

• 解决在新领域中收集和标注真实世界人体重识别（ReID）数据所面临的高昂成本与困难。
• 通过减少对人工标注真实数据的依赖，降低 ReID 模型的部署门槛。
• 实现在低光照或统一着装等具有挑战性的现实场景下的有效零样本迁移与领域自适应。
• 证明仅使用合成数据即可在直接迁移设置中超越真实数据预训练的效果。
• 提供一种灵活可调的流程，用于生成多样化、逼真的 ReID 训练数据，并免费获得标注。

提出的方法

• 使用可调节光照、场景和行人属性（如性别、服装、身高）的虚拟 3D 环境，生成高保真度、可控制的 3D 行人图像。
• 通过合成流程自动为合成图像分配实例级标注（身份标签），且无需额外成本。
• 仅使用 3,000 个身份和 120,000 个合成样本对 ReID 模型进行预训练，采用标准基线网络（如基于 ResNet 的模型）和标准对比损失。
• 调整虚拟场景参数（如一天中的时间、光照条件、相机角度），以模拟夜间或黑色衣物等具有挑战性的现实条件。
• 将预训练模型直接应用于真实世界基准（如 MSMT17、GRID、LIPS、Market-black、Duke-black）进行零样本迁移评估。
• 将预训练模型集成到最先进的无监督域自适应（UDA）框架中，进一步提升目标领域上的准确率。

实验结果

研究问题

• RQ1 仅在合成数据上预训练的 ReID 模型，其零样本迁移性能是否优于在真实标注数据上预训练的模型？
• RQ2 合成数据的质量与可控性在多样化真实世界 ReID 领域中的泛化能力方面产生何种影响，尤其是在真实数据有限的场景中？
• RQ3 该数据合成流程在多大程度上可被调整以模拟罕见或难以捕捉的场景（如低光照、黑色衣物环境），从而提升模型鲁棒性？
• RQ4 在数据合成过程中，哪些因素对最终 ReID 模型的性能影响最大？
• RQ5 在合成数据上预训练的模型是否可作为监督与无监督域自适应的良好初始化，从而减少对特定领域微调的需求？

主要发现

• UnrealPerson 流程在仅使用合成数据预训练的模型直接迁移至 MSMT17 基准时，实现了 38.5% 的 rank-1 准确率——几乎将此前使用合成数据的最佳结果（20.0%，RandPerson）翻倍。
• 该模型在直接迁移任务中超越了以往使用真实数据的记录，表明合成数据在零样本 ReID 泛化方面可能比真实数据更有效。
• 在低光照场景下，基于低光照合成数据训练的模型在 LIPS 数据集上比真实数据基线高出 3.0% 的 rank-1 准确率。
• 针对黑色衣物 ReID 问题，基于合成黑色衣物行人数据训练的模型在 Market-black 和 Duke-black 上表现优异，优于在真实世界数据上预训练的模型。
• 该预训练模型可作为无监督域自适应的高效初始化，集成到现有 UDA 框架后可实现最先进性能。
• 该流程的灵活性使其可轻松适配极端情况（如室内、夜间、统一着装），显著扩展了可部署 ReID 系统的应用范围。