[论文解读] Pose Invariant Person Re-Identification using Robust Pose-transformation GAN

Arnab Karmakar, Deepak Mishra|arXiv (Cornell University)|Apr 11, 2021

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种姿态不变的人重新识别框架，采用鲁棒的姿态转换生成对抗网络（pt-GAN），可从单张输入图像生成不同姿态的图像，并结合姿态聚类与特征融合，学习视角不变的特征。该方法在四个基准数据集上达到最先进性能，其准确率和相对于基线模型的提升均优于现有的基于GAN和非GAN模型。

ABSTRACT

The objective of person re-identification (re-ID) is to retrieve a person's images from an image gallery, given a single instance of the person of interest. Despite several advancements, learning discriminative identity-sensitive and viewpoint invariant features for robust Person Re-identification is a major challenge owing to the large pose variation of humans. This paper proposes a re-ID pipeline that utilizes the image generation capability of Generative Adversarial Networks combined with pose clustering and feature fusion to achieve pose invariant feature learning. The objective is to model a given person under different viewpoints and large pose changes and extract the most discriminative features from all the appearances. The pose transformational GAN (pt-GAN) module is trained to generate a person's image in any given pose. In order to identify the most significant poses for discriminative feature extraction, a Pose Clustering module is proposed. The given instance of the person is modelled in varying poses and these features are effectively combined through the Feature Fusion Network. The final re-ID model consisting of these 3 sub-blocks, alleviates the pose dependence in person re-ID. Also, The proposed model is robust to occlusion, scale, rotation and illumination, providing a framework for viewpoint invariant feature learning. The proposed method outperforms the state-of-the-art GAN based models in 4 benchmark datasets. It also surpasses the state-of-the-art models that report higher re-ID accuracy in terms of improvement over baseline.

研究动机与目标

• 解决人重新识别中因大姿态变化导致特征判别性下降和模型准确率降低的主要挑战。
• 通过基于GAN的姿态转换数据增强，克服深度学习模型在小样本数据集上的局限性。
• 构建一个鲁棒的、端到端可训练的流水线，仅从单张查询图像学习视角不变的特征。
• 在遮挡、光照变化、尺度变化和旋转等真实世界条件下提升泛化能力。
• 通过结合姿态生成、聚类与特征融合，实现相对于最先进模型的卓越性能。

提出的方法

• 训练姿态转换生成对抗网络（pt-GAN），使用优化的损失函数并在重新识别数据集上微调，从单张输入图像生成任意期望姿态的图像。
• 实现无监督姿态聚类模块，识别最具判别性和代表性的姿态用于特征提取，减少冗余。
• 使用共享主干网络从原始查询图像和所有生成的姿态变体图像中提取深度特征。
• 通过可学习的特征融合网络（FusionNet）融合提取的特征，生成单一、鲁棒的视角不变特征向量。
• 利用融合后的特征向量在图库集中进行基于相似度的检索，实现姿态不变的匹配。
• 在GAN框架内整合数据增强与基于CNN的特征学习，提升对遮挡、尺度和光照变化的鲁棒性。

实验结果

研究问题

• RQ1 基于GAN的姿态转换能否有效从单张人像图像生成多样且逼真的姿态，从而提升人重新识别中的特征鲁棒性？
• RQ2 无监督姿态聚类如何识别最具判别性的姿态用于特征提取，以最小化冗余并最大化判别性？
• RQ3 跨多个姿态变体图像的特征融合在多大程度上提升了视角不变性与重新识别准确率？
• RQ4 所提出的端到端框架是否在绝对准确率和相对于基线模型的提升方面均优于最先进模型？
• RQ5 该模型对遮挡、光照变化、尺度变化和检测误差等现实世界挑战的鲁棒性如何？

主要发现

• 所提方法在Market-1501上达到73.2%的Rank-1准确率，在DukeMTMC-reID上达到74.48%，在CUHK03上达到83.3%，优于最先进基于GAN的模型。
• 经重排序后，模型在Market-1501上提升至73.95%，在DukeMTMC-reID上达到93.04%，在CUHK03上达到96.97%，展现出强大的检索性能。
• 在Market-1501上较基线ResNet50-1提升9.64%，在DukeMTMC-reID上提升12.80%，相对提升超过更高准确率的模型。
• pt-GAN模型成功重建了被遮挡区域，并在不同姿态间保持了身份一致性，表现出对遮挡和检测误差的强鲁棒性。
• 在姿态、光照和旋转变化下，类内特征距离显著低于类间距离，证实了模型的不变性特性。
• 定性结果表明，与基线模型相比，所提模型在姿态和遮挡等挑战性场景下能更准确地检索到正确身份。