[论文解读] Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

Longhui Wei, Shiliang Zhang+2 more|arXiv (Cornell University)|Nov 23, 2017

Video Surveillance and Tracking Methods参考文献 29被引用 118

一句话总结

介绍了 MSMT17——一个用于人员重识别的大规模、多场景/多时间数据集，以及 PTGAN，一种基于 GAN 的方法，用于在数据集之间转移个体以跨越领域差距，同时保持身份不丢失。

ABSTRACT

Although the performance of person Re-Identification (ReID) has been significantly boosted, many challenging issues in real scenarios have not been fully investigated, e.g., the complex scenes and lighting variations, viewpoint and pose changes, and the large number of identities in a camera network. To facilitate the research towards conquering those issues, this paper contributes a new dataset called MSMT17 with many important features, e.g., 1) the raw videos are taken by an 15-camera network deployed in both indoor and outdoor scenes, 2) the videos cover a long period of time and present complex lighting variations, and 3) it contains currently the largest number of annotated identities, i.e., 4,101 identities and 126,441 bounding boxes. We also observe that, domain gap commonly exists between datasets, which essentially causes severe performance drop when training and testing on different datasets. This results in that available training data cannot be effectively leveraged for new testing domains. To relieve the expensive costs of annotating new training samples, we propose a Person Transfer Generative Adversarial Network (PTGAN) to bridge the domain gap. Comprehensive experiments show that the domain gap could be substantially narrowed-down by the PTGAN.

研究动机与目标

• 创建一个具有挑战性、真实感强的大规模数据集（MSMT17），用于在多样场景、不同时间和光照条件下的人员重识别。
• 解决 ReID 数据集之间的领域差异，以在无需大规模标注的情况下改进跨域学习。
• 提出 PTGAN，在跨数据集转移个体的同时保持身份并采用风格转换。
• 评估 PTGAN 在降低领域差异和支持跨数据集训练策略方面的有效性。

提出的方法

• 提出 PTGAN，一种基于 Cycle-GAN 的无配对图像到图像翻译框架，添加了身份约束。
• 使用风格损失（GAN + 循环一致性）在数据集 A 与 B 之间映射风格并强化循环一致性。
• 结合身份损失，在迁移过程中利用前景掩模 M 和基于 PSPNet 的分割来保持前景人物身份。
• 使用对抗损失，针对两个域设定判别器并加入前景保真度的 L2 项；将 lambda 参数设定为平衡风格与身份。
• 证明 PTGAN 不需要目标数据集的带标注数据即可工作，并且能够生成高质量的迁移样本，同时保持身份。

实验结果

研究问题

• RQ1 生成式迁移模型是否能够通过重新风格化前景以使其更像目标域来降低人员重识别数据集之间的领域差异？
• RQ2 在迁移过程中保持人物身份是否能够在不对目标域进行标注的情况下实现对 ReID 的有效跨数据集训练？
• RQ3 相较于仅使用源域数据，使用 PTGAN 生成样本时，跨数据集训练的性能提升幅度有多大？

主要发现

方法	mAP	R-1	R-5	R-10	R-20
GoogLeNet (baseline)	23.0	47.6	65.0	71.8	78.2
PDC	29.7	58.0	73.6	79.4	84.5
GLAD	34.0	61.4	76.8	81.6	85.9

• MSMT17 是一个大型、具有挑战性的 ReID 数据集，包含 4,101 个身份和跨 15 台摄像头的 126,441 个边界框。
• PTGAN 显著缩小跨数据集的领域差异并提升跨域 ReID 性能。
• 用 PTGAN 转移样本替换或增广训练数据，在目标数据集上获得显著的 Rank-1 提升，即使目标标签不可用。
• 在 MSMT17 上，从 Duke、Market 和 CUHK03 转移到 MSMT17 的 Rank-1 提升为 3.7–6.8 个百分点（例如：从 Duke 到 MSMT17）。
• 将来自多个来源的迁移样本结合用于训练，相较于单一来源迁移可获得额外的提升。
• 迁移数据可以大致等同于 MSMT17 自身已标注数据的一部分，从而降低标注成本。