[论文解读] Triplet Contrastive Representation Learning for Unsupervised Vehicle Re-identification

Fei Shen, Xiaoyu Du+3 more|arXiv (Cornell University)|Jan 23, 2023

Advanced Neural Network Applications被引用 10

一句话总结

本文提出 TCRL，一种带有三个记忆库（部分、簇、全局）以及三种损失（PCL、HCL、WRCCL）的三元对比学习框架，旨在在无监督车辆再识别中桥接部分与全局特征，在 VeRi776、VehicleID 和 VERI-Wild 上实现了最新结果且无需额外数据。

ABSTRACT

Part feature learning is critical for fine-grained semantic understanding in vehicle re-identification. However, existing approaches directly model part features and global features, which can easily lead to serious gradient vanishing issues due to their unequal feature information and unreliable pseudo-labels for unsupervised vehicle re-identification. To address this problem, in this paper, we propose a simple Triplet Contrastive Representation Learning (TCRL) framework which leverages cluster features to bridge the part features and global features for unsupervised vehicle re-identification. Specifically, TCRL devises three memory banks to store the instance/cluster features and proposes a Proxy Contrastive Loss (PCL) to make contrastive learning between adjacent memory banks, thus presenting the associations between the part and global features as a transition of the part-cluster and cluster-global associations. Since the cluster memory bank copes with all the vehicle features, it can summarize them into a discriminative feature representation. To deeply exploit the instance/cluster information, TCRL proposes two additional loss functions. For the instance-level feature, a Hybrid Contrastive Loss (HCL) re-defines the sample correlations by approaching the positive instance features and pushing the all negative instance features away. For the cluster-level feature, a Weighted Regularization Cluster Contrastive Loss (WRCCL) refines the pseudo labels by penalizing the mislabeled images according to the instance similarity. Extensive experiments show that TCRL outperforms many state-of-the-art unsupervised vehicle re-identification approaches.

研究动机与目标

• 在无监督再识别中学习部分和全局车辆特征时，解决梯度消失和不可靠的伪标签。
• 通过基于簇的代理桥接部分级和全局级表示，以实现有效的跨特征学习。
• 利用记忆库和新颖的损失函数，挖掘实例级和簇级信息以获得判别性车辆表示。
• 在大规模车辆再识别数据集上展示最先进的性能且无需额外标注数据。

提出的方法

• 三个记忆库分别存储部分特征 (M^P)、簇代表 (M^C) 和全局特征 (M^G)。
• 代理对比损失 (PCL) 通过 KL 散度和欧氏距离建模相邻记忆库之间的关联（部分–簇、簇–全局）。
• Hybrid 对比损失 (HCL) 将所有负样本整合在一起，在实例级将正样本拉近。
• 加权正则化簇对比损失 (WRCCL) 通过图像相似性对簇级伪标签相关性进行加权，以抑制错误标注样本。
• 簇记忆库汇总特征以提供判别表示，并通过基于 DBSCAN 的聚类引导伪标签更新。
• 总损失 L_Total 将 PCL、HCL 和 WRCCL 结合在一起，并使用平衡系数组。
• 训练使用带掩码的和原始图像对、动量更新的记忆以及一个 ResNet-50 主干网络。
• 在无监督设定下，对 VeRi776、VehicleID 和 VERI-Wild 进行学习表示的余弦相似度评估。

实验结果

研究问题

• RQ1 在无监督环境中，三元对比框架是否能有效连接部分级和全局级车辆特征？
• RQ2 基于记忆库的代理和精心设计的损失函数是否能提升无监督车辆再识别的性能？
• RQ3 部分、簇和全局记忆如何交互以产生鲁棒且具区分性的细粒度车辆再识别表示？

主要发现

• TCRL 在 VeRi776 的无监督表现达到最先进水平，mAP 42.68% 且 Rank-1 87.26%。
• 在 VehicleID 上，TCRL 在 Test800 达到 mAP 66.29% 和 Rank-1 60.36%，在更大的 Test1600 和 Test2400 子集也有稳健结果（论文中给出数值）。
• 在 VERI-Wild 上，TCRL 在 Test3000、Test5000 和 Test10000 子集均取得最佳结果（例如在 Test3000 上 mAP 66.29% 和 Rank-1 60.36%）。
• 消融研究表明，直接建模部分+全局特征在没有簇代理时会崩溃，而结合部分特征和所提出的损失（PCL、HCL、WRCCL）在所有数据集上均显著提升性能。
• 综合的 TCRL 目标函数（L_Total 结合 L_PCL、L_HCL、L_WRCCL）优于基线和单一损失，证明了带三个记忆库的三元对比学习的好处。