[论文解读] Towards Discriminative Representation Learning for Unsupervised Person Re-identification

Takashi Isobe, Dong Li+4 more|arXiv (Cornell University)|Aug 7, 2021

Video Surveillance and Tracking Methods参考文献 84被引用 4

一句话总结

本文提出了一种统一的无监督行人重识别框架，通过聚类对比学习、渐进式域自适应和傅里叶空间增强，提升了判别性特征学习能力。通过迭代优化伪标签、逐步将知识从源域迁移至目标域，并在频域中强制类间可分性，该方法在多个基准测试中实现了最先进性能，mAP相比MMT提升了8.1%至11.4%。

ABSTRACT

In this work, we address the problem of unsupervised domain adaptation for person re-ID where annotations are available for the source domain but not for target. Previous methods typically follow a two-stage optimization pipeline, where the network is first pre-trained on source and then fine-tuned on target with pseudo labels created by feature clustering. Such methods sustain two main limitations. (1) The label noise may hinder the learning of discriminative features for recognizing target classes. (2) The domain gap may hinder knowledge transferring from source to target. We propose three types of technical schemes to alleviate these issues. First, we propose a cluster-wise contrastive learning algorithm (CCL) by iterative optimization of feature learning and cluster refinery to learn noise-tolerant representations in the unsupervised manner. Second, we adopt a progressive domain adaptation (PDA) strategy to gradually mitigate the domain gap between source and target data. Third, we propose Fourier augmentation (FA) for further maximizing the class separability of re-ID models by imposing extra constraints in the Fourier space. We observe that these proposed schemes are capable of facilitating the learning of discriminative feature representations. Experiments demonstrate that our method consistently achieves notable improvements over the state-of-the-art unsupervised re-ID methods on multiple benchmarks, e.g., surpassing MMT largely by 8.1\%, 9.9\%, 11.4\% and 11.1\% mAP on the Market-to-Duke, Duke-to-Market, Market-to-MSMT and Duke-to-MSMT tasks, respectively.

研究动机与目标

• 为解决现有无监督域自适应方法在行人重识别中的局限性，特别是伪标签噪声和从源域到目标域的知识迁移能力不足问题。
• 通过对比学习的迭代优化，减少在无标签目标数据上聚类生成的伪标签中的噪声。
• 通过将两阶段训练替换为渐进式域自适应策略，提升从有标签源域到无标签目标域的知识迁移能力。
• 通过在傅里叶域引入额外约束，增强学习特征的类间可分性。
• 在无需目标域人工标注的前提下，实现在多个跨域行人重识别基准上的最先进性能。

提出的方法

• 提出聚类对比学习（CCL），利用聚类生成的伪标签作为对比学习目标中的监督信号，采用基于动量的移动平均主干网络和动态队列存储负样本。
• 采用渐进式域自适应（PDA）策略，联合在源域和目标域上进行训练，通过动态调整损失权重，逐步从源域监督转向目标域监督，以提升知识迁移效果。
• 通过在幅度谱特征上计算额外损失函数，实施傅里叶增强（FA），将这些特征视为非线性变换以增强判别能力。
• 采用统一的训练流程，交替进行特征聚类与对比学习，以迭代方式优化伪标签并提升表示质量。
• 设计多分支头结构，联合在空间域与傅里叶域进行训练，通过可学习的损失权重平衡两种监督信号。
• 采用动量主干网络和记忆队列，以稳定训练过程，并在小批量内提供多样化的负样本。

Figure 1: Given labeled source data and unlabeled target data, our goal is to learn feature representations for recognizing target classes. For this unsupervised domain adaptation task, we propose three technical schemes to learn discriminative target features: (a) cluster-wise contrastive learning,

实验结果

研究问题

• RQ1 聚类对比学习是否能降低无监督重识别中伪标签的噪声并提升特征判别性？
• RQ2 渐进式域自适应是否优于标准的两阶段微调策略，在从源域到目标域的知识迁移中表现更优？
• RQ3 傅里叶域约束是否能增强类间可分性，并在仅使用空间特征的基础上进一步提升重识别性能？
• RQ4 不同的损失权重配置和队列大小如何影响所提框架的鲁棒性与性能？
• RQ5 CCL、PDA与FA三者结合在多样化的跨域行人重识别基准上是否能带来一致的性能提升？

主要发现

• 所提方法在Market-to-Duke上达到69.4% mAP和82.7% rank-1，相比之前最先进方法MMT提升11.4% mAP。
• 在Duke-to-Market上，方法达到82.2% mAP和93.6% rank-1，相比MMT提升11.1% mAP。
• 消融实验表明，采用三步策略的渐进式域自适应优于静态权重设置和两阶段训练，相比静态0.2/0.8权重设置，mAP提升7.3%。
• 傅里叶增强与空间特征联合使用时，在Market-to-Duke上达到69.4% mAP，优于单独使用任一空间（67.3%或67.6%），且在所有基准上均表现出一致增益。
• 最优超参数为δ=0.1和γ=0.7，该设置在所有评估场景中均取得最佳性能。
• 该方法对队列大小和正样本采样方式具有鲁棒性，|N_past|=1024时性能最佳。

Figure 2: Illustration of the proposed unified framework for unsupervised cross-domain person re-ID.