[论文解读] Semi-Supervised Domain Generalizable Person Re-Identification

Lingxiao He, Wu Liu+5 more|arXiv (Cornell University)|Aug 11, 2021

Video Surveillance and Tracking Methods参考文献 53被引用 9

一句话总结

本文提出了一种半监督知识蒸馏（SSKD）框架，利用弱标注的YouTube-Human数据（30万张以上图像）以及17个标注数据集，训练具备领域泛化能力的行人重识别模型。通过使用教师-学生蒸馏设置，并利用未标注数据生成的软伪标签，SSKD在未见目标领域（如Market1501、DukeMTMC和MSMT17）上实现了与监督学习相当的性能，显著提升了泛化能力，且无需新领域标注数据。

ABSTRACT

Existing person re-identification (re-id) methods are stuck when deployed to a new unseen scenario despite the success in cross-camera person matching. Recent efforts have been substantially devoted to domain adaptive person re-id where extensive unlabeled data in the new scenario are utilized in a transductive learning manner. However, for each scenario, it is required to first collect enough data and then train such a domain adaptive re-id model, thus restricting their practical application. Instead, we aim to explore multiple labeled datasets to learn generalized domain-invariant representations for person re-id, which is expected universally effective for each new-coming re-id scenario. To pursue practicability in real-world systems, we collect all the person re-id datasets (20 datasets) in this field and select the three most frequently used datasets (i.e., Market1501, DukeMTMC, and MSMT17) as unseen target domains. In addition, we develop DataHunter that collects over 300K+ weak annotated images named YouTube-Human from YouTube street-view videos, which joins 17 remaining full labeled datasets to form multiple source domains. On such a large and challenging benchmark called FastHuman (~440K+ labeled images), we further propose a simple yet effective Semi-Supervised Knowledge Distillation (SSKD) framework. SSKD effectively exploits the weakly annotated data by assigning soft pseudo labels to YouTube-Human to improve models' generalization ability. Experiments on several protocols verify the effectiveness of the proposed SSKD framework on domain generalizable person re-id, which is even comparable to supervised learning on the target domains. Lastly, but most importantly, we hope the proposed benchmark FastHuman could bring the next development of domain generalizable person re-id algorithms.

研究动机与目标

• 解决行人重识别中在新部署领域需要标注数据的实际限制。
• 在不依赖领域特定微调的情况下，提升模型对未见领域的泛化能力。
• 构建一个可扩展的大规模基准（FastHuman），包含来自真实场景的440万张以上多样化图像。
• 探索弱标注网络数据（YouTube-Human）在通过半监督知识蒸馏提升领域泛化能力方面的有效性。
• 提供新的基准和代码库，以加速领域泛化行人重识别的研究。

提出的方法

• 提出一种半监督知识蒸馏框架（SSKD），利用标注数据和教师模型在未标注YouTube-Human数据上生成的软伪标签来训练学生模型。
• 使用教师模型（如ResNet-101或ResNeSt-269）对未标注的YouTube-Human图像生成软预测结果，随后用于监督学生模型的训练。
• 实施双监督策略：学生模型在标注数据的硬标签上进行训练，同时在教师模型对未标注数据预测结果的软标签上进行监督。
• 引入空间重建头（DSR），通过稀疏编码重建特征，增强特征判别能力，提升对遮挡和领域偏移的鲁棒性。
• 通过整合17个标注数据集和YouTube-Human数据，构建大规模基准FastHuman，总计包含440万张以上图像，覆盖82台摄像头和3.8万以上个体。
• 开发DataHunter系统，自动从YouTube街景视频中收集弱标注的行人图像，实现领域泛化所需的大规模数据收集。

实验结果

研究问题

• RQ1 来自YouTube的弱标注网络数据能否提升行人重识别模型的领域泛化能力？
• RQ2 在无需领域特定微调的情况下，半监督知识蒸馏在利用未标注数据泛化到未见目标领域方面的有效性如何？
• RQ3 在SSKD框架中，模型容量（如教师网络深度）对学生模型泛化性能有何影响？
• RQ4 未标注数据规模如何影响重识别模型的泛化能力？
• RQ5 像FastHuman这样大规模、多样化的基准能否有效支持并加速领域泛化行人重识别的研究？

主要发现

• 当使用ResNeSt-269作为教师模型时，SSKD在Market1501上达到90.86%的rank-1准确率，在MSMT17上达到57.35%，优于标准知识蒸馏和自监督基线方法。
• SSKD+DSR变体在PartialREID上提升2.70%，在CrowdReID上提升2.00%，证明了空间特征重建的有效性。
• 与使用较小的ResNet-50教师模型相比，使用ResNeSt-269作为教师模型可使学生模型在CrowdReID上的性能提升最高达4.56%。
• 在未标注数据上知识蒸馏的最优温度超参数为τᵤᵏ = 6，分别在Market1501和DukeMTMC上实现89.3%和78.4%的rank-1准确率。
• 随着未标注YouTube-Human数据规模的增加，泛化性能持续提升，性能随数据量增加而提高。
• 所提出的FastHuman基准包含来自20个多样化数据集的440万张以上图像，以及30万张以上的YouTube-Human图像，能够有效支持并加速真实场景下领域泛化能力的评估。