[论文解读] Structured Domain Adaptation for Unsupervised Person Re-identification.

Yixiao Ge, Feng Zhu+2 more|arXiv (Cornell University)|Jan 1, 2020

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文提出了一种用于无监督行人重识别的端到端结构化域自适应框架，该框架在源域到目标域的域迁移过程中强制执行关系一致性。通过联合优化特征编码器和翻译模块，并引入在线关系一致性正则化，该方法提升了伪标签性能，并在开放集重识别基准上取得了最先进结果。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that translation-based methods have great potential on exploiting the valuable source-domain data but they did not provide proper regularization on the translation process. Specifically, these methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relation during translation. To tackle the challenge, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. An improved pseudo-label-based encoder can therefore be obtained by jointly training the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities. In the experiments, our proposed framework is shown to outperform state-of-the-art methods on multiple UDA tasks of person re-ID. Code is available at this https URL.

研究动机与目标

• 为解决无监督域自适应在开放集行人重识别中的挑战，其中源域和目标域之间无身份重叠。
• 克服先前基于翻译的方法的局限性，这些方法在域迁移过程中缺乏对样本间关系的适当正则化。
• 通过在训练过程中利用结构化、关系一致的翻译图像，提升伪标签质量。
• 通过引入在线关系一致性正则化项，联合优化特征编码器和域翻译过程。
• 在多个无监督行人重识别基准设置上实现最先进性能。

提出的方法

• 提出一种端到端框架，联合训练行人特征编码器和域翻译模块。
• 应用在线关系一致性正则化项，以确保在源域到目标域翻译过程中样本间特征关系得以保留。
• 使用带有真实身份标签的翻译源图像和带有伪标签的目标域图像进行联合训练。
• 优化特征编码器以实时建模样本间关系，从而监督翻译过程。
• 利用来自关系一致翻译的反馈，提升伪标签化目标图像的质量。
• 采用对比学习目标，以在翻译过程中保持行人嵌入之间的相对相似性。

实验结果

研究问题

• RQ1 在域迁移过程中强制执行样本间关系一致性是否能提升无监督行人重识别性能？
• RQ2 与标准翻译或伪标签基线方法相比，关系一致的翻译在开放集重识别中表现如何？
• RQ3 采用在线端到端训练并结合关系一致性正则化，是否相比独立训练翻译模块和编码器能带来更好的泛化性能？
• RQ4 所提方法在无身份依赖的行人重识别中，能在多大程度上减少域偏移？
• RQ5 该方法是否能在无身份重叠的多个无监督域自适应重识别基准上实现最先进性能？

主要发现

• 所提方法在多个无监督行人重识别基准上优于现有最先进方法。
• 引入关系一致性正则化后，目标域中的伪标签更加可靠且具有更强判别性。
• 通过所提正则化项联合训练特征编码器与翻译模块，提升了模型泛化能力。
• 该方法在标准无监督域自适应重识别基准（如Market-1501、DukeMTMC-reID和MSMT17）上实现了显著性能提升。
• 消融研究证实，关系一致性正则化对提升翻译质量与下游重识别准确率均至关重要。
• 该框架在开放集行人重识别中多样化的域偏移场景下表现出强大的鲁棒性。