[论文解读] Part-Aware Transformer for Generalizable Person Re-identification

Hao Ni, Yuke Li+3 more|arXiv (Cornell University)|Aug 7, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

本文提出 Part-Aware Transformer，一种基于视觉变换器的模型，用于行人重识别中的域泛化（DG-ReID）。该方法引入跨ID相似性学习（CSL），以挖掘不同身份之间的ID无关局部视觉相似性，减少对领域特定偏差的过拟合，并采用基于部位的自蒸馏（PSD）以增强全局特征泛化能力。该方法实现了最先进性能，在 Market→Duke 设置下，Rank-1 提升 10.9%，mAP 提升 12.8%。

ABSTRACT

Domain generalization person re-identification (DG-ReID) aims to train a model on source domains and generalize well on unseen domains. Vision Transformer usually yields better generalization ability than common CNN networks under distribution shifts. However, Transformer-based ReID models inevitably over-fit to domain-specific biases due to the supervised learning strategy on the source domain. We observe that while the global images of different IDs should have different features, their similar local parts (e.g., black backpack) are not bounded by this constraint. Motivated by this, we propose a pure Transformer model (termed Part-aware Transformer) for DG-ReID by designing a proxy task, named Cross-ID Similarity Learning (CSL), to mine local visual information shared by different IDs. This proxy task allows the model to learn generic features because it only cares about the visual similarity of the parts regardless of the ID labels, thus alleviating the side effect of domain-specific biases. Based on the local similarity obtained in CSL, a Part-guided Self-Distillation (PSD) is proposed to further improve the generalization of global features. Our method achieves state-of-the-art performance under most DG ReID settings. Under the Market$ o$Duke setting, our method exceeds state-of-the-art by 10.9% and 12.8% in Rank1 and mAP, respectively. The code is available at https://github.com/liyuke65535/Part-Aware-Transformer.

研究动机与目标

• 为解决行人重识别中领域分布偏移的挑战，提升模型在未见领域上的泛化能力。
• 缓解基于视觉变换器的 ReID 模型对领域特定偏差的过拟合问题。
• 通过利用不同身份之间的内在视觉相似性，学习通用的、与ID无关的局部视觉表征。
• 通过一种新颖的、基于局部部位相似性的自蒸馏策略，增强全局特征的泛化能力。
• 建立一个纯Transformer架构的行人重识别域泛化框架。

提出的方法

• 提出跨ID相似性学习（CSL），一种代理任务，可在不使用ID标签的情况下，挖掘不同身份之间局部图像区域的视觉相似性。
• 采用部位感知注意力机制，通过将部位标记与感兴趣区域内的图像块拼接，生成局部化表征。
• 使用内存库计算当前局部特征与所有样本之间的相似性，识别跨身份的视觉相似部位。
• 提出基于部位引导的自蒸馏（PSD），利用CSL的相似性结果构建全局特征的软标签，以指导特征学习。
• 应用温度控制的softmax聚类损失，以稳定训练过程并提升局部表征空间中的特征聚类效果。
• 融合浅层的注意力图，可视化并验证部位标记聚焦于背包、外套等判别性局部区域。

实验结果

研究问题

• RQ1 基于视觉变换器的模型在域泛化行人重识别任务中是否优于CNN？
• RQ2 学习与ID无关的局部视觉相似性是否能提升在领域分布偏移下的泛化能力？
• RQ3 基于身份间视觉相似性的代理任务是否能减少监督学习中对领域特定偏差的过拟合？
• RQ4 基于局部部位相似性的自蒸馏是否优于细粒度行人重识别任务中的传统自蒸馏方法？
• RQ5 部位标记数量与温度超参数对模型性能有何影响？

主要发现

• 所提出的 Part-Aware Transformer 在多个 DG-ReID 基准测试中达到最先进性能，包括 Market→Duke、Market→CUHK03-NP 和 Market→MSMT。
• 在 Market→Duke 设置下，与之前最先进方法相比，模型将 Rank-1 准确率提升 10.9%，mAP 提升 12.8%。
• 仅使用 CSL 模块即可显著提升性能，证明了学习与ID无关的局部相似性的有效性。
• 基于部位引导的自蒸馏（PSD）进一步提升了泛化能力，优于传统自蒸馏方法，后者在细粒度 ReID 任务中反而导致性能下降。
• 在 Market 数据集上，最优温度超参数 τ = 0.02 时性能最佳，过低或过高值均导致性能不稳定。
• 将图像划分为三部分时性能最佳，增加或减少部分数量仅带来微小增益，证实了适度数量的部位标记具有有效性。