[论文解读] Unsupervised Person Re-identification by Soft Multilabel Learning

Hong-Xing Yu, Wei‐Shi Zheng+4 more|arXiv (Cornell University)|Mar 15, 2019

Video Surveillance and Tracking Methods参考文献 59被引用 61

一句话总结

本文提出 MAR，一种深度模型，通过使用辅助参考人员来为未标注的目标数据学习软多标签表示，使软多标签引导的硬负样本挖掘和跨视角一致性成为可能，在 Market-1501 和 DukeMTMC-reID 上实现了最先进的无监督人重识别。

ABSTRACT

Although unsupervised person re-identification (RE-ID) has drawn increasing research attentions due to its potential to address the scalability problem of supervised RE-ID models, it is very challenging to learn discriminative information in the absence of pairwise labels across disjoint camera views. To overcome this problem, we propose a deep model for the soft multilabel learning for unsupervised RE-ID. The idea is to learn a soft multilabel (real-valued label likelihood vector) for each unlabeled person by comparing (and representing) the unlabeled person with a set of known reference persons from an auxiliary domain. We propose the soft multilabel-guided hard negative mining to learn a discriminative embedding for the unlabeled target domain by exploring the similarity consistency of the visual features and the soft multilabels of unlabeled target pairs. Since most target pairs are cross-view pairs, we develop the cross-view consistent soft multilabel learning to achieve the learning goal that the soft multilabels are consistently good across different camera views. To enable effecient soft multilabel learning, we introduce the reference agent learning to represent each reference person by a reference agent in a joint embedding. We evaluate our unified deep model on Market-1501 and DukeMTMC-reID. Our model outperforms the state-of-the-art unsupervised RE-ID methods by clear margins. Code is available at https://github.com/KovenYu/MAR.

研究动机与目标

• 通过移除目标标签并利用一个辅助带标签的数据集来解决 RE-ID 的可扩展性问题。
• 通过参考代理为未标注的目标图像学习软的、实值的多标签表示。
• 开发一个统一的深度模型（MAR），将软多标签学习、软标签引导挖掘和跨域对齐结合起来。
• 确保跨视角的软多标签在不同相机视图中的一致性，以提升跨视角匹配。

提出的方法

• 使用 f(x) 的 a_i 的向量化化相似度，定义软多标签 y 为参考人物可能性的归一化向量，形式为 y^(k) = exp(a_k^T f(x)) / sum_i exp(a_i^T f(x)).
• 通过软多标签引导的硬负样本挖掘，将对成对样本基于特征相似性和软多标签一致性 A(y_i, y_j) 进行 P/N 分类，其中 A(y_i, y_j) = sum_k min(y_i^(k), y_j^(k)).
• 引入跨视角一致的软多标签学习损失 L_CML，通过两路 Wasserstein 距离简化来对齐不同相机视角的软多标签分布。
• 使用参考代理 {a_i} 来紧凑地表示参考人物并定义 Agent Learning 损失 L_AL 以对齐辅助数据；包含通过 L_RAJ 的联合嵌入以矫正跨域错配。
• 用 L_MDL + λ1 L_CML + λ2 L_RAL 训练 MAR，其中 L_MDL 通过软多标签引导挖掘来强制判别嵌入。
• 在测试时通过计算探针-图库对的余弦相似度来评估。

实验结果

研究问题

• RQ1 从辅助参考集学得的软的实值多标签如何在目标域中改进无监督的 RE-ID？
• RQ2 软多标签引导的硬负样本挖掘和跨视角一致性是否能在没有目标标签的情况下提升判别嵌入学习？
• RQ3 参考代理是否能够实现辅助数据与目标数据集之间的高效且鲁棒的跨域学习？
• RQ4 在标准的无监督 RE-ID 基准（Market-1501、DukeMTMC-reID）上使用 MAR 能达到哪些性能提升？

主要发现

• MAR 在 Market-1501 和 DukeMTMC-reID 上达到无监督 RE-ID 的最新水平，显著优于此前方法。
• 在 Market-1501 上，MAR 达到 Rank-1 67.7、Rank-5 81.9，以及 mAP 40.0。
• 在 DukeMTMC-reID 上，MAR 达到 Rank-1 67.1、Rank-5 79.8，以及 mAP 48.0。
• 消融研究表明跨视角软多标签学习和参考代理学习对超越仅有源模型的性能提升至关重要。
• 软多标签引导相比基于特征相似性的基线有显著提升，移除 L_CML 或 L_RAL 将降低结果。
• 可视化分析显示 MAR 能识别细粒度的区分线索（如背包存在）以区分视觉相似的个体。