[论文解读] Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification

De Cheng, Haichun Tai+3 more|arXiv (Cornell University)|Nov 30, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种名为邻近一致性引导伪标签优化（NCPLR）的简单而有效的方法，用于无监督行人重识别（ReID），通过利用特征空间相似性权重聚合最近邻的预测结果来优化噪声伪标签。该方法提升了模型的鲁棒性，并实现了最先进性能，在五个数据集上相比基线聚类方法，mAP最高提升了1.48%。

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features for person retrieval without any annotations. Recent advances accomplish this task by leveraging clustering-based pseudo labels, but these pseudo labels are inevitably noisy which deteriorate model performance. In this paper, we propose a Neighbour Consistency guided Pseudo Label Refinement (NCPLR) framework, which can be regarded as a transductive form of label propagation under the assumption that the prediction of each example should be similar to its nearest neighbours'. Specifically, the refined label for each training instance can be obtained by the original clustering result and a weighted ensemble of its neighbours' predictions, with weights determined according to their similarities in the feature space. In addition, we consider the clustering-based unsupervised person ReID as a label-noise learning problem. Then, we proposed an explicit neighbour consistency regularization to reduce model susceptibility to over-fitting while improving the training stability. The NCPLR method is simple yet effective, and can be seamlessly integrated into existing clustering-based unsupervised algorithms. Extensive experimental results on five ReID datasets demonstrate the effectiveness of the proposed method, and showing superior performance to state-of-the-art methods by a large margin.

研究动机与目标

• 为解决基于聚类的无监督行人重识别（ReID）中因标签记忆化和过拟合而导致的伪标签噪声问题，从而降低模型性能。
• 通过将无监督ReID建模为标签噪声学习问题，提升训练的稳定性和鲁棒性。
• 开发一种轻量级、即插即用的方法，增强现有基于聚类的无监督自学习（USL）ReID框架，无需辅助网络或复杂架构。
• 利用特征空间中的局部邻域结构，通过归纳标签传播原理优化伪标签。

提出的方法

• 每个训练样本的优化伪标签通过其k个最近邻预测结果的加权集成计算得出，权重基于特征空间中的余弦相似度。
• 通过可学习插值系数α，将原始聚类生成的伪标签与邻近集成预测结果进行融合。
• 提出一种新型邻近一致性正则化（NCR），用于惩罚预测结果与邻近样本加权平均预测之间的偏差，从而提升训练稳定性。
• NCR损失基于特征嵌入构建的相似性图计算，鼓励局部一致性，且不依赖于预测标签。
• 该框架兼容标准度量学习目标（如三元组损失和InfoNCE损失），可仅通过最小修改集成到现有USL ReID流程中。
• 超参数α、ρ（邻域半径）以及λ1、λ2通过调优以平衡优化与监督，最优值在Market1501上确定为α=0.2，ρ=0.2，λ1=1.0，λ2=1.0。

实验结果

研究问题

• RQ1 基于邻近的标签优化方法是否能在不依赖辅助模型或复杂架构的前提下，提升无监督行人ReID中伪标签的质量？
• RQ2 邻近一致性正则化如何在训练过程中减少模型对噪声伪标签的过拟合？
• RQ3 与基线聚类方法相比，所提出的NCPLR方法在mAP和Rank-1准确率方面提升程度如何？
• RQ4 为在多样化ReID数据集上最大化性能，超参数α、ρ、λ1、λ2的最优配置是什么？
• RQ5 当聚类质量较低时，该方法是否依然有效，还是依赖于相对干净的初始伪标签集？

主要发现

• NCPLR在五个标准ReID数据集上，相对于基线方法Lcc + Lce，平均提升mAP达1.48%。
• 当结合加权优化策略（公式7）时，在平均mAP上额外获得0.48%的提升。
• 在教师-学生网络设置中，该方法平均实现0.64%的mAP提升，证明其在自蒸馏场景下的有效性。
• 通过在Market1501上的消融实验，确定最优超参数配置为α=0.2，ρ=0.2，λ1=1.0，λ2=1.0。
• 当α=0.2时模型表现最佳，表明原始聚类与邻近共识之间的平衡可获得更优结果。
• 该方法具有强鲁棒性与泛化能力，在Market1501、DukeMTMC、CUHK03、MSMT1233和CUHK-SYSU等多个数据集上均表现出一致的性能增益。