[论文解读] One Shot Domain Adaptation for Person Re-Identification

Yang Fu, Yunchao Wei+5 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods被引用 3

一句话总结

本文提出自相似性分组（SSG），一种用于行人重识别的自监督域自适应方法，通过基于全局和局部特征相似性对未标记目标域样本进行聚类，以生成伪身份。通过迭代分组与训练，SSG在DukeMTMC→Market1501和Market1501→DukeMTMC基准上分别将mAP提升4.6%和4.4%，而SSG++作为聚类引导的半监督变体，进一步提升了性能。

ABSTRACT

Domain adaptation in person re-identification (re-ID) has always been a challenging task. In this work, we explore how to harness the natural similar characteristics existing in the samples from the target domain for learning to conduct person re-ID in an unsupervised manner. Concretely, we propose a Self-similarity Grouping (SSG) approach, which exploits the potential similarity (from global body to local parts) of unlabeled samples to automatically build multiple clusters from different views. These independent clusters are then assigned with labels, which serve as the pseudo identities to supervise the training process. We repeatedly and alternatively conduct such a grouping and training process until the model is stable. Despite the apparent simplify, our SSG outperforms the state-of-the-arts by more than 4.6% (DukeMTMC to Market1501) and 4.4% (Market1501 to DukeMTMC) in mAP, respectively. Upon our SSG, we further introduce a clustering-guided semisupervised approach named SSG ++ to conduct the one-shot domain adaption in an open set setting (i.e. the number of independent identities from the target domain is unknown). Without spending much effort on labeling, our SSG ++ can further promote the mAP upon SSG by 10.7% and 6.9%, respectively. Our Code is available at: this https URL .

研究动机与目标

• 为解决行人重识别中缺乏目标域标注数据的无监督域自适应挑战。
• 利用未标记目标样本中的内在相似性模式，自动生成可靠的伪身份用于训练。
• 开发一种交替进行聚类与模型优化的自训练框架，以提升模型鲁棒性与性能。
• 将方法扩展至开放集设置，其中目标域身份数量未知，以支持实际部署。

提出的方法

• 提出自相似性分组（SSG），利用来自整体身体与局部部件的多视图特征对未标记目标样本进行聚类，以识别自然分组。
• 基于簇内相似性为簇分配伪身份，并在模型训练期间将其作为监督信号。
• 采用迭代交替过程：使用当前模型的特征聚类样本，随后利用生成的伪标签重新训练模型。
• 提出SSG++，一种聚类引导的半监督扩展方法，可在开放集域自适应设置中引入额外弱标注数据。
• 使用深度度量学习结合对比损失，以增强簇内与簇间特征的可分性。
• 利用深度神经网络的特征表示，实现对同一人物不同视角间有效相似性计算。

实验结果

研究问题

• RQ1 能否有效利用未标记目标样本之间的内在相似性，以生成可靠的伪身份用于无监督行人重识别？
• RQ2 在无任何目标域标注数据的情况下，如何通过迭代聚类与模型优化提升域自适应性能？
• RQ3 在开放集域自适应设置中，当仅有少量标注样本可用时，聚类引导的半监督方法是否能进一步提升性能？
• RQ4 使用多视图特征（全局与局部）对聚类质量与下游重识别准确率有何影响？

主要发现

• SSG在DukeMTMC→Market1501跨域重识别基准上相比最先进方法将mAP提升4.6%。
• SSG在Market1501→DukeMTMC设置中实现4.4%的mAP增益，表明其在不同域之间具有强大的泛化能力。
• SSG++在DukeMTMC→Market1501上进一步提升10.7% mAP，在Market1501→DukeMTMC上提升6.9% mAP，证明其在半监督开放集自适应中的有效性。
• SSG的迭代自训练循环带来模型稳定性，并在多次运行中保持一致的性能增益。
• 使用多视图相似性（全局与局部）显著提升了聚类质量与身份判别能力。
• 该方法在目标域中身份数量未知的情况下仍表现出良好泛化能力，符合开放集设置的需求。