[论文解读] Multi-task Mid-level Feature Alignment Network for Unsupervised Cross-Dataset Person Re-Identification

Shan Lin, Haoliang Li+2 more|arXiv (Cornell University)|Jul 3, 2018

Video Surveillance and Tracking Methods被引用 159

一句话总结

本论文提出 MMFA，一种端到端的无监督跨数据集行人重识别框架，通过基于 MMD 的正则化在跨领域对齐中层特征，同时联合学习身份和属性监督。

ABSTRACT

Most existing person re-identification (Re-ID) approaches follow a supervised learning framework, in which a large number of labelled matching pairs are required for training. Such a setting severely limits their scalability in real-world applications where no labelled samples are available during the training phase. To overcome this limitation, we develop a novel unsupervised Multi-task Mid-level Feature Alignment (MMFA) network for the unsupervised cross-dataset person re-identification task. Under the assumption that the source and target datasets share the same set of mid-level semantic attributes, our proposed model can be jointly optimised under the person's identity classification and the attribute learning task with a cross-dataset mid-level feature alignment regularisation term. In this way, the learned feature representation can be better generalised from one dataset to another which further improve the person re-identification accuracy. Experimental results on four benchmark datasets demonstrate that our proposed method outperforms the state-of-the-art baselines.

研究动机与目标

• 通过利用跨数据集共享的中层属性，在没有目标域标签的情况下推动可扩展的人体重识别（Re-ID）。
• 在带标注的源域通过联合身份与属性监督学习判别性特征。
• 对齐源域与目标域的中层特征分布，以提升跨数据集的泛化能力。
• 引入一个单阶段的端到端训练框架，将特征学习与领域自适应结合在一起。

提出的方法

• 使用带全局最大池化层的 ResNet-50 主干网络以及多个任务特定头。
• 以身份分类损失和多种属性分类损失进行训练。
• 基于 MMD 计算两种领域自适应正则项：一种应用于属性特征（AAL），一种应用于中层深特征（MDAL）。
• 将损失整合为统一目标 L_all = L_id + λ1 L_attr + λ2 L_AAL + λ3 L_MDAL。
• 对 MMD 使用混合的径向基函数核，并在包含带标签的源样本和无标签的目标样本的小批量中进行单次端到端 SGD 训练。

实验结果

研究问题

• RQ1 是否可以通过跨域对齐中层特征分布来实现无监督的跨数据集 Re-ID？
• RQ2 联合学习身份与中层属性是否能提升跨数据集的泛化能力？
• RQ3 基于 MMD 的属性与中层特征正则项在 Re-ID 的域适应中的有效性如何？
• RQ4 在标准基准数据集上，MMFA 相对于最先进的无监督跨数据集 Re-ID 方法的性能如何？

主要发现

• MMFA 在 VIPeR、PRID、Market1501 和 DukeMTMC-reID 基准上优于许多最先进的无监督方法。
• 属性与身份的联合训练比单独使用任一方法具有更好的泛化能力（属性+身份 相比仅属性有改进）。
• 中层特征对齐（AAL 与 MDAL）显著提升跨域性能，对齐后相较未适配特征有显著增益。
• 在 Market1501 和 DukeMTMC-reID 上，MMFA 相对于若干基线在 Rank-1 和 mAP 上取得显著提升（例如跨数据集设置，Duke 的 Rank-1 56.7，mAP 27.4；Market 的 Rank-1 45.3，mAP 24.7）。
• 该方法仅需一次端到端训练（约 25 个 epoch）即可达到有竞争力的性能。