[论文解读] Similarity-preserving Image-image Domain Adaptation for Person Re-identification

Weijian Deng, Liang Zheng+3 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 69被引用 22

一句话总结

本文提出了一种基于生成对抗网络（SPGAN）的相似性保持图像-图像域自适应框架及其端到端变体（eSPGAN），用于行人重识别。通过在风格迁移过程中强制保持身份相似性，并联合优化图像翻译与特征学习，该方法在Market-1501和DukeMTMC-reID数据集上实现了最先进性能，其中eSPGAN在Market-1501单次查询设置下使用LMP达到63.6%的rank-1准确率。

ABSTRACT

This article studies the domain adaptation problem in person re-identification (re-ID) under a "learning via translation" framework, consisting of two components, 1) translating the labeled images from the source to the target domain in an unsupervised manner, 2) learning a re-ID model using the translated images. The objective is to preserve the underlying human identity information after image translation, so that translated images with labels are effective for feature learning on the target domain. To this end, we propose a similarity preserving generative adversarial network (SPGAN) and its end-to-end trainable version, eSPGAN. Both aiming at similarity preserving, SPGAN enforces this property by heuristic constraints, while eSPGAN does so by optimally facilitating the re-ID model learning. More specifically, SPGAN separately undertakes the two components in the "learning via translation" framework. It first preserves two types of unsupervised similarity, namely, self-similarity of an image before and after translation, and domain-dissimilarity of a translated source image and a target image. It then learns a re-ID model using existing networks. In comparison, eSPGAN seamlessly integrates image translation and re-ID model learning. During the end-to-end training of eSPGAN, re-ID learning guides image translation to preserve the underlying identity information of an image. Meanwhile, image translation improves re-ID learning by providing identity-preserving training samples of the target domain style. In the experiment, we show that identities of the fake images generated by SPGAN and eSPGAN are well preserved. Based on this, we report the new state-of-the-art domain adaptation results on two large-scale person re-ID datasets.

研究动机与目标

• 解决由于数据集偏差和域偏移导致的行人重识别模型跨域泛化能力差的问题。
• 克服现有无监督域自适应方法假设类别集合共享的局限性，而该假设在行人重识别中并不成立。
• 在从源域到目标域的图像翻译过程中保持判别性身份特征，确保在风格变化下仍保持身份一致性。
• 将图像翻译与特征学习整合到一个端到端框架中，实现相互优化并提升自适应性能。
• 在无需依赖目标域标注的情况下，实现在大规模行人重识别基准上的最先进域自适应性能。

提出的方法

• 提出SPGAN，一种双组件框架，使用CycleGAN进行图像翻译，并通过对比损失在孪生网络（SiaNet）中强制保持身份相似性与域差异性。
• 在SPGAN中，孪生网络将翻译后的源域图像与其原始对应图像拉近，同时将其与目标域中的图像推远，从而在无监督条件下保持身份线索。
• 提出eSPGAN，一种端到端扩展，通过交替训练联合优化图像翻译与重识别特征学习，实现在各组件间的相互引导。
• 在SPGAN中使用对比损失以保持身份的自相似性并引入域差异性，确保翻译后的图像保留身份信息的同时匹配目标域风格。
• 将LMP（局部最大出现池化）作为后处理增强手段，以进一步提升性能，尤其在多查询设置下表现更优。
• 使用对抗损失进行图像翻译训练，使用对比损失进行身份保持，eSPGAN中通过端到端反向传播实现联合优化。

实验结果

研究问题

• RQ1 从源域到目标域的图像翻译能否在行人重识别中保持行人的潜在身份信息？
• RQ2 如何约束无监督图像翻译，以在适应新域视觉风格的同时保持判别性身份特征？
• RQ3 在端到端框架中联合优化图像翻译与特征学习是否能提升行人重识别中的域自适应性能？
• RQ4 相似性保持的GAN框架是否能在大规模行人重识别数据集中超越现有最先进无监督域自适应方法？
• RQ5 在图像翻译流程中集成身份保持约束对下游重识别准确率有何影响？

主要发现

• eSPGAN在Market-1501的单次查询设置下实现了63.6%的新最先进rank-1准确率，比第二好的方法HHL高出1.4%。
• 在DukeMTMC-reID上，eSPGAN在使用LMP（P=8）时达到52.6%的rank-1准确率，创下新SOTA，且比HHL高出1.0%。
• SPGAN在Market-1501的单次查询设置下达到59.5%的rank-1准确率，优于TJ-AIDL 1.3%，展现出强大竞争力。
• LMP（P=8）的引入使eSPGAN在Market-1501上的性能提升至63.6%，表明后处理可进一步增强域自适应收益。
• eSPGAN的端到端训练相比SPGAN表现更优，证实了图像翻译与特征学习之间联合优化的益处。
• SPGAN与eSPGAN显著优于手工设计特征（如BoW、LOMO）及无监督方法（如PUL、UMDL），验证了其在域自适应中的有效性。