[论文解读] Unsupervised Lifelong Person Re-identification via Contrastive Rehearsal

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Mar 12, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出无监督对比回放（Unsupervised Contrastive Rehearsal, UCR），一种新颖的终身行人重识别方法，可在无需灾难性遗忘的情况下实现持续的无监督域自适应。通过对比性地回放少量存储的旧样本，并在旧模型与新模型之间强制图像到图像的相似性一致性，UCR在已见和未见域上均实现了强大的泛化能力，在零样本和域内泛化设置下均优于先前方法。

ABSTRACT

Existing unsupervised person re-identification (ReID) methods focus on adapting a model trained on a source domain to a fixed target domain. However, an adapted ReID model usually only works well on a certain target domain, but can hardly memorize the source domain knowledge and generalize to upcoming unseen data. In this paper, we propose unsupervised lifelong person ReID, which focuses on continuously conducting unsupervised domain adaptation on new domains without forgetting the knowledge learnt from old domains. To tackle unsupervised lifelong ReID, we conduct a contrastive rehearsal on a small number of stored old samples while sequentially adapting to new domains. We further set an image-to-image similarity constraint between old and new models to regularize the model updates in a way that suits old knowledge. We sequentially train our model on several large-scale datasets in an unsupervised manner and test it on all seen domains as well as several unseen domains to validate the generalizability of our method. Our proposed unsupervised lifelong method achieves strong generalizability, which significantly outperforms previous lifelong methods on both seen and unseen domains. Code will be made available at https://github.com/chenhao2345/UCR.

研究动机与目标

• 为解决无监督行人重识别中持续学习的缺失问题，即模型在适应新域时通常会遗忘旧知识。
• 开发一种实用的终身重识别框架，能从新的无标注数据中持续增量学习，无需人工标注。
• 通过对比回放保留旧知识，缓解在无监督域自适应过程中灾难性遗忘的问题。
• 通过统一且可扩展的训练流程，提升在已见和未见域上的泛化能力。

提出的方法

• 一种对比回放机制将来自先前域的少量代表性图像及其聚类原型存储在长期记忆缓冲区中。
• 为旧域样本生成伪标签，并应用对比学习，以确保在域转移过程中，旧样本与其伪正样本对的距离小于与其他伪负样本的距离。
• 在冻结的旧模型和当前模型计算的旧样本图像-图像表征之间施加相似性约束，以正则化更新过程，从而保留旧知识。
• 该方法使用双重损失：在存储的旧样本上的回放损失，以及旧模型与新模型预测之间的相似性一致性损失。
• 模型以无监督方式顺序训练多个大规模数据集，模拟现实世界中增量数据的到达。
• 记忆更新通过选择每个聚类原型最近的K张图像来减少伪标签噪声并提高可靠性。

实验结果

研究问题

• RQ1 是否可以在无需对新数据进行人工标注的情况下，有效实现无监督终身行人重识别？
• RQ2 在行人重识别中，如何在持续无监督域自适应过程中缓解灾难性遗忘？
• RQ3 对旧样本进行对比回放在跨域保留知识方面起到什么作用？
• RQ4 在旧模型与新模型之间强制表征一致性如何提升泛化能力？
• RQ5 该方法是否也能在未见域上实现与已见域相当的泛化性能？

主要发现

• UCR在已见域上达到59.3% mAP和75.9% R1，显著优于先前方法如AKA(SL)和C$^2$L(SL)。
• 在未见域上，UCR达到58.3% mAP和55.9% R1，展现出强大的零样本泛化能力。
• 增加每个身份的记忆大小（K$_{mem}$）可提升性能，其中K$_{mem}$=8在所有指标上均表现最佳。
• 该方法对训练顺序具有鲁棒性，即使先在最大规模的域（MSMT17）上训练，也能保持强性能。
• 选择距离聚类原型最近的图像用于记忆存储，其性能优于选择最远或随机选择的图像。
• 消融实验表明最优超参数为：τ$_s$=0.2 和 λ$_{sim}$=20，用于相似性约束。