[论文解读] Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification

Xiao Zhang, Yixiao Ge+2 more|arXiv (Cornell University)|Jun 11, 2021

Advanced Image and Video Retrieval Techniques参考文献 47被引用 7

一句话总结

本文提出 RLCC，一种用于无监督行人重识别的新型伪标签优化方法，通过利用连续训练代际间的聚类一致性来减少标签噪声。通过基于代际间相似性的随机游走传播并集成软伪标签，RLCC 显著提升了性能，在 MSMT17 上相比 SOTA 方法最高实现 8.8% 的 mAP 提升。

ABSTRACT

Unsupervised object re-identification targets at learning discriminative representations for object retrieval without any annotations. Clustering-based methods conduct training with the generated pseudo labels and currently dominate this research direction. However, they still suffer from the issue of pseudo label noise. To tackle the challenge, we propose to properly estimate pseudo label similarities between consecutive training generations with clustering consensus and refine pseudo labels with temporally propagated and ensembled pseudo labels. To the best of our knowledge, this is the first attempt to leverage the spirit of temporal ensembling to improve classification with dynamically changing classes over generations. The proposed pseudo label refinery strategy is simple yet effective and can be seamlessly integrated into existing clustering-based unsupervised re-identification methods. With our proposed approach, state-of-the-art method can be further boosted with up to 8.8% mAP improvements on the challenging MSMT17 dataset.

研究动机与目标

• 解决基于聚类的无监督行人重识别方法中持续存在的伪标签噪声问题。
• 克服现有时间集成技术的局限性，后者假设类别集合固定，不适用于无监督重识别中动态变化的伪标签。
• 通过利用跨训练代际的时间一致性，借助优化后的伪标签提升模型泛化能力与性能。
• 开发一种即插即用的模块，兼容现有无监督重识别框架，通过最小的架构改动显著提升性能。

提出的方法

• 使用样本-标签分配的交并比（IoU）来估计连续训练代际之间的聚类一致性，以衡量伪类别分配之间的相似性。
• 通过基于聚类一致性的伪标签相似性图上的随机游走，将前一代的软伪标签传播到当前代。
• 通过融合当前预测与时间传播标签的动量平均更新，对当前代的伪标签进行优化，以减少噪声。
• 将优化后的软伪标签集成到训练目标中，替代现有基于聚类的无监督重识别流程中的标准硬伪标签。
• 采用移动平均策略以稳定标签传播过程，提升对代际间噪声或不一致伪标签的鲁棒性。
• 在端到端、迭代的训练流程中应用该方法，每轮训练均更新伪标签，并在下一轮中使用优化后的标签作为监督信号。

实验结果

研究问题

• RQ1 时间集成原则能否有效适配无监督行人重识别任务，其中伪标签在训练代际间动态变化？
• RQ2 如何利用连续代际间的聚类一致性来引导可靠的伪标签传播与优化？
• RQ3 与标准硬伪标签相比，经优化的时间一致性集成软伪标签在多大程度上能降低噪声并提升无监督重识别的 mAP？
• RQ4 所提出的 RLCC 方法是否在多样化基准上具有泛化能力，包括 MSMT17 和 VeRi-776 等具有挑战性的数据集？
• RQ5 RLCC 的性能增益是否对超参数选择（如软标签计算中的温度参数）具有鲁棒性？

主要发现

• 在 Market-1501 数据集上，RLCC 相较于 SOTA 方法 SpCL 实现 4.6% 的 mAP 提升，达到 77.7% 的 mAP。
• 在更具挑战性的 DukeMTMC-reID 数据集上，RLCC 相较于 SpCL 提升 3.9% mAP，达到 69.2% 的 mAP。
• 在大规模、复杂的 MSMT17 基准上，RLCC 达到 27.9% mAP，相较 SpCL 的 19.1% mAP 提升 8.8%。
• 在车辆重识别基准 VeRi-776 上，RLCC 达到 39.6% mAP，相较 SpCL 的 36.9% mAP 提升 2.7%。
• 消融实验表明，RLCC 对超参数变化具有鲁棒性，特别是温度参数 τ，在 15 到 45 的范围内均保持优异性能。
• 该方法在所有评估数据集上均持续优于基线模型，证明其在多样化无监督重识别场景下的泛化能力与稳定性。