[论文解读] Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro

Zhedong Zheng, Liang Zheng+1 more|arXiv (Cornell University)|Jan 26, 2017

Video Surveillance and Tracking Methods参考文献 42被引用 204

一句话总结

本文提出 LSRO，一种半监督正则化方法，将 GAN 生成的未标记图像与真实训练数据整合，以在不额外数据收集的情况下提升用于行人再识别的 CNN 嵌入。

ABSTRACT

The main contribution of this paper is a simple semi-supervised pipeline that only uses the original training set without collecting extra data. It is challenging in 1) how to obtain more training data only from the training set and 2) how to use the newly generated data. In this work, the generative adversarial network (GAN) is used to generate unlabeled samples. We propose the label smoothing regularization for outliers (LSRO). This method assigns a uniform label distribution to the unlabeled images, which regularizes the supervised model and improves the baseline. We verify the proposed method on a practical problem: person re-identification (re-ID). This task aims to retrieve a query person from other cameras. We adopt the deep convolutional generative adversarial network (DCGAN) for sample generation, and a baseline convolutional neural network (CNN) for representation learning. Experiments show that adding the GAN-generated data effectively improves the discriminative ability of learned CNN embeddings. On three large-scale datasets, Market-1501, CUHK03 and DukeMTMC-reID, we obtain +4.37%, +1.6% and +2.46% improvement in rank-1 precision over the baseline CNN, respectively. We additionally apply the proposed method to fine-grained bird recognition and achieve a +0.6% improvement over a strong baseline. The code is available at https://github.com/layumi/Person-reID_GAN.

研究动机与目标

• 以仅使用原始训练集并补充 GAN 生成的未标记数据为前提，推动提升行人再识别性能。
• 引入一种正则化方法（LSRO），在不为给定样本分配显式标签的情况下处理 CNN 训练流程中的未标记 GAN 样本。
• 在 Market-1501、CUHK03 以及 DukeMTMC-reID 数据集上展示对 CNN 基线的一致改进。
• 展示对细粒度识别任务（CUB-200-2011）的适用性以验证方法的普适性。

提出的方法

• 在原始 re-ID 训练数据上训练 DCGAN，以生成未标记的行人图像。
• 在 CNN 训练（ResNet-50）中，将真实带标签数据与 GAN 生成的未标记数据结合在一个端到端的管道中。
• 应用用于异常值的标签平滑正则化（LSRO）：对 GAN 生成的样本分配一个跨所有现有类别的均匀标签分布，同时保持真实样本的真实标签。
• 使用区分真实（真实标签）与生成（均匀标签）标记样本的交叉熵损失（通过 Z 标志的两种损失）。
• 通过对 ImageNet 预训练网络进行微调来评估，调整最终层的大小以匹配训练身份的数量。

实验结果

研究问题

• RQ1 将 GAN 生成的未标记样本注入基于 CNN 的 re-ID 流程，是否相对于强基线提升 rank-1 准确率和 mAP？
• RQ2 在此场景中，LSRO 是否优于处理未标记 GAN 数据的替代策略（All in one、Pseudo label）？
• RQ3 GAN 生成图像数量对大规模数据集上的 re-ID 性能有何影响？
• RQ4 GAN 生成的样本是否为细粒度识别提供正则化效应，超出行人再识别？

主要发现

• 带有 LSRO 的 GAN 生成数据在 Market-1501、CUHK03 和 DukeMTMC-reID 数据集上持续改善了 CNN 基线。
• 在 Market-1501 上，增加 GAN 图像会带来显著提升（例如当用数万张 GAN 图像进行扩增时，rank-1 和 mAP 提升）。
• CUHK03 显示出较小但正向的提升，原因是在 Market-1501 与 CUHK03 之间对 GAN 的分布差异。
• DukeMTMC-reID 也有可测量的 rank-1 和 mAP 提升。
• 在实验中，LSRO 的表现优于两种替代未标记数据策略（All in one class 与 Pseudo label）。
• LSRO 方法在细粒度识别任务（CUB-200-2011）上也带来微小但一致的提升。