[论文解读] Plug-and-Play Pseudo Label Correction Network for Unsupervised Person Re-identification

Tianyi Yan, Kuan Jun Zhu+4 more|arXiv (Cornell University)|Jun 14, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出一种即插即用的基于图的标签修正（GLC）网络，通过利用图卷积网络在k-最近邻图上强制实施结构一致性，对无监督行人重识别中的噪声伪标签进行精炼，并采用早停策略以防止对标签噪声的过拟合。GLC在不修改主训练流程的前提下，显著提升了多个基准测试和聚类方法下的Re-ID准确率。

ABSTRACT

Clustering-based methods, which alternate between the generation of pseudo labels and the optimization of the feature extraction network, play a dominant role in both unsupervised learning (USL) and unsupervised domain adaptive (UDA) person re-identification (Re-ID). To alleviate the adverse effect of noisy pseudo labels, the existing methods either abandon unreliable labels or refine the pseudo labels via mutual learning or label propagation. However, a great many erroneous labels are still accumulated because these methods mostly adopt traditional unsupervised clustering algorithms which rely on certain assumptions on data distribution and fail to capture the distribution of complex real-world data. In this paper, we propose the plug-and-play graph-based pseudo label correction network (GLC) to refine the pseudo labels in the manner of supervised clustering. GLC is trained to perceive the varying data distribution at each epoch of the self-training with the supervision of initial pseudo labels generated by any clustering method. It can learn to rectify the initial noisy labels by means of the relationship constraints between samples on the k Nearest Neighbor (kNN) graph and early-stop training strategy. Specifically, GLC learns to aggregate node features from neighbors and predict whether the nodes should be linked on the graph. Besides, GLC is optimized with 'early stop' before the noisy labels are severely memorized to prevent overfitting to noisy pseudo labels. Consequently, GLC improves the quality of pseudo labels though the supervision signals contain some noise, leading to better Re-ID performance. Extensive experiments in USL and UDA person Re-ID on Market-1501 and MSMT17 show that our method is widely compatible with various clustering-based methods and promotes the state-of-the-art performance consistently.

研究动机与目标

• 为解决无监督及域自适应行人重识别中持续存在的噪声伪标签问题，该问题会随训练迭代次数增加而降低模型性能。
• 开发一种无需依赖数据分布强假设的方法，以提升伪标签质量，从而克服传统聚类算法（如K-means和DBSCAN）的局限性。
• 设计一种即插即用模块，兼容任何基于聚类的自训练框架，可轻松集成至现有Re-ID流水线中。
• 通过基于图的正则化和早停策略，减轻标签噪声的负面影响，确保在迭代训练过程中的鲁棒性。

提出的方法

• 构建一个k-最近邻图，其中每个节点代表一张行人图像，并根据特征相似度与它的k个最近邻节点相连。
• 将聚类任务表述为图上的链接预测问题，利用图卷积网络（GCN）层聚合邻近节点的特征。
• 训练GLC网络以预测两个节点是否应被连接（即属于同一身份），即使初始伪标签含有噪声，也以之作为监督信号。
• 在GLC训练过程中采用早停策略，以防止对噪声标签的记忆化，维持模型泛化能力。
• 将GLC作为后处理模块，在每次聚类步骤后集成，对伪标签进行精炼，再用于下一轮特征提取器的更新。
• 可选地，在训练后期重新初始化特征提取器，以进一步提升性能。

实验结果

研究问题

• RQ1 基于图的神经网络能否在监督信号不完美时，有效修正无监督行人重识别中的噪声伪标签？
• RQ2 在GLC训练过程中采用早停策略是否能防止对噪声伪标签的过拟合，并提升标签质量？
• RQ3 GLC模块在不同基于聚类的Re-ID框架和数据集上表现如何？
• RQ4 在自训练过程中，GLC的最佳应用时机与频率是什么？

主要发现

• GLC在多个基准测试（包括Market-1501和MSMT17）上，无论是在无监督还是无监督域自适应设置下，均一致提升了mAP和NMI指标。
• 在Market-1501到MSMT17的跨域基准上，结合GLC与IDM方法可实现3.5%的绝对mAP提升，且训练时间仅增加25%。
• 当GLC从总训练周期的20%处开始应用（p_s = 0.2）时，性能达到最优，此时特征可分性和标签修正效果达到最佳平衡。
• 在GLC训练中于t_e = 250个epoch处实施早停，可有效防止过拟合，并在整个训练过程中保持高质量的伪标签，表现为NMI分数稳定。
• 重启策略进一步提升了性能，最佳结果出现在训练过程的80%处重新初始化特征提取器时（p_r = 0.8）。
• GLC对超参数选择具有鲁棒性，尤其对λ参数不敏感，且无论底层聚类方法如何，均能保持一致的性能增益。