[论文解读] Self-training with progressive augmentation for unsupervised cross-domain person re-identification

Xinyu Zhang, Jiewei Cao+2 more|arXiv (Cornell University)|Jul 31, 2019

Video Surveillance and Tracking Methods参考文献 42被引用 15

一句话总结

本论文提出PAST，一种用于无监督跨域行人重识别的渐进式增强自训练框架。该框架在保守阶段使用一种新颖的基于排序的三元组损失以提升伪标签质量，在促进阶段则利用可学习分类头以利用全局数据分布，从而在多个基准测试中实现最先进性能。

ABSTRACT

Person re-identification (Re-ID) has achieved great improvement with deep learning and a large amount of labelled training data. However, it remains a challenging task for adapting a model trained in a source domain of labelled data to a target domain of only unlabelled data available. In this work, we develop a self-training method with progressive augmentation framework (PAST) to promote the model performance progressively on the target dataset. Specially, our PAST framework consists of two stages, namely, conservative stage and promoting stage. The conservative stage captures the local structure of target-domain data points with triplet-based loss functions, leading to improved feature representations. The promoting stage continuously optimizes the network by appending a changeable classification layer to the last layer of the model, enabling the use of global information about the data distribution. Importantly, we propose a new self-training strategy that progressively augments the model capability by adopting conservative and promoting stages alternately. Furthermore, to improve the reliability of selected triplet samples, we introduce a ranking-based triplet loss in the conservative stage, which is a label-free objective function basing on the similarities between data pairs. Experiments demonstrate that the proposed method achieves state-of-the-art person Re-ID performance under the unsupervised cross-domain setting. Code is available at: https://tinyurl.com/PASTReID

研究动机与目标

• 解决无监督跨域行人重识别中的域偏移问题，即在有标签源域上训练的模型在无标签目标域上表现不佳的问题。
• 在伪标签质量较低的早期训练阶段，减少错误传播。
• 通过逐步提升伪标签数据的可靠性，改善模型在目标域上的泛化能力。
• 开发一种自训练框架，交替利用局部（基于三元组）和全局（基于分类）数据结构，以实现更优的特征学习。
• 通过引入无标签的基于排序的三元组损失函数，降低对聚类质量的依赖。

提出的方法

• 提出一种两阶段自训练框架：保守阶段用于局部结构学习，促进阶段用于全局分布学习。
• 在保守阶段，使用一种新颖的基于排序的三元组损失（RTL），根据相似度排序选择正样本和负样本，而无需依赖伪标签。
• 在促进阶段，将最后一层替换为可学习分类头，以利用基于聚类的伪标签实现全局优化。
• 在保守阶段与促进阶段之间交替进行，以逐步提升模型的鲁棒性与表征质量。
• 使用HDBSCAN进行聚类，并设置最小样本数阈值（Smin）以控制聚类密度，减少噪声。
• 通过加权组合基于排序的三元组损失（RTL）与基于聚类的三元组损失（CTL），优化模型，其中超参数λ用于平衡两者贡献。

实验结果

研究问题

• RQ1 一种在保守与促进阶段之间交替的渐进式自训练策略，能否提升无监督跨域行人重识别中的模型泛化能力？
• RQ2 在早期训练阶段，当伪标签不可靠时，无标签的基于排序的三元组损失（RTL）是否优于传统的基于聚类的三元组损失（CTL）？
• RQ3 通过可学习分类头引入全局数据分布，与仅依赖三元组损失相比，性能提升程度如何？
• RQ4 性能对超参数（如损失权重λ和最小聚类大小Smin）的敏感程度如何？
• RQ5 所提出的框架是否能在多个跨域Re-ID基准上实现最先进性能？

主要发现

• PAST框架在M→D基准上达到72.35% Rank-1和54.26% mAP，显著超越先前最先进方法。
• 在C→D基准上，PAST达到69.88% Rank-1和51.79% mAP，相较于仅使用保守阶段的性能提升4.71%（Rank-1）和5.21%（mAP）。
• 仅使用保守阶段的RTL损失时，在M→D上达到71.63% Rank-1和52.05% mAP，较EANet分别提升3.93%（Rank-1）和4.05%（mAP）。
• 最优损失权重λ为0.5，性能在λ更高或更低时均下降，表明RTL与CTL之间存在关键权衡。
• 当Smin = 10时性能最佳，且伪身份数（625）最接近Market-1501的真实身份数（751），证实其在平衡聚类质量与完整性方面的有效性。
• 消融实验表明，交替使用保守与促进阶段至关重要，完整PAST框架显著优于单独使用任一阶段。