[论文解读] SSPP-DAN: Deep Domain Adaptation Network for Face Recognition with Single Sample Per Person

Sungeun Hong, Woobin Im+2 more|arXiv (Cornell University)|Feb 14, 2017

Face recognition and analysis参考文献 13被引用 20

一句话总结

本论文提出SSPP-DAN，一种深度域自适应网络，通过域对抗训练联合执行特征学习、域自适应与分类，以解决在异质成像条件下单样本每人的（SSPP）人脸识别问题。通过从3D人脸模型合成多样的姿态变化，并应用无监督域自适应，该方法在真实世界SSPP数据集上相比基线方法实现了19.31%的准确率提升，并在LFW-SSPP上达到最先进性能。

ABSTRACT

Real-world face recognition using a single sample per person (SSPP) is a challenging task. The problem is exacerbated if the conditions under which the gallery image and the probe set are captured are completely different. To address these issues from the perspective of domain adaptation, we introduce an SSPP domain adaptation network (SSPP-DAN). In the proposed approach, domain adaptation, feature extraction, and classification are performed jointly using a deep architecture with domain-adversarial training. However, the SSPP characteristic of one training sample per class is insufficient to train the deep architecture. To overcome this shortage, we generate synthetic images with varying poses using a 3D face model. Experimental evaluations using a realistic SSPP dataset show that deep domain adaptation and image synthesis complement each other and dramatically improve accuracy. Experiments on a benchmark dataset using the proposed approach show state-of-the-art performance. All the dataset and the source code can be found in our online repository (https://github.com/csehong/SSPP-DAN).

研究动机与目标

• 解决仅有一张图库图像对应每个人的单样本每人的（SSPP）人脸识别挑战，尤其在图库（稳定）与探测（非受限）图像之间存在显著域偏移的情况下。
• 通过使用3D人脸模型生成具有不同姿态的合成人脸图像，以增强源域数据，从而克服SSPP中的数据稀缺问题。
• 通过使用对抗训练的无监督域自适应方法，弥合稳定图库图像与噪声大、模糊、姿态多变的探测图像之间的域差距。
• 在真实世界部署约束条件下，展示图像合成与域自适应的互补效应，以提升识别准确率。
• 建立一个新的基准数据集（EK-LFH），包含在截然不同条件下采集的真实图库和探测集，用于评估SSPP方法。

提出的方法

• 提出一种统一的深度神经网络架构，通过梯度反转层（GRL）的域对抗训练，联合执行特征提取、域自适应与分类。
• 基于原始图库图像的单个3D人脸模型重建，生成具有多样化姿态的合成人脸图像，以增加训练数据多样性。
• 将合成图像作为源域中的增强训练样本，以提升模型泛化能力，并缓解因真实样本有限导致的过拟合问题。
• 通过训练域判别器来区分源域（合成/稳定）与目标域（真实/探测）的特征，实现无监督域自适应，促使学习域不变表示。
• 使用反向传播端到端训练整个网络，实现特征学习与域对齐的联合优化。
• 利用预训练的VGG-Face特征作为主干网络，进行迁移学习，并在目标域上微调模型，适用于半监督与全监督设置。

Fig. 2 : Outline of the SSPP-DAN. Image synthesis is used to increase the number of samples in the source domain. The feature extractor and two classifiers are used to bridge the gap between source domain (i.e., stable images) and target domain (i.e., unstable images) by adversarial training with gr

实验结果

研究问题

• RQ1 将合成数据生成与深度域自适应相结合，是否能显著提升在域偏移条件下SSPP人脸识别的准确率？
• RQ2 在无需探测数据标签的情况下，域对抗训练在对齐稳定图库图像与非受限探测图像的特征分布方面有多高效？
• RQ3 当每人仅有一张真实样本时，基于3D人脸模型的图像合成在数据增强方面在多大程度上提升了模型性能？
• RQ4 图像合成与域自适应之间的协同效应是否优于单独使用任一技术？
• RQ5 所提出方法是否能泛化至LFW-SSPP等基准数据集，并在真实世界异质设置下实现最先进性能？

主要发现

• 在所提出的EK-LFH数据集中，当目标域未使用任何标签时，SSPP-DAN相比仅使用源域的基线方法，准确率提升了19.31个百分点。
• 合成图像生成与无监督域自适应的结合，相比仅在源域上使用合成数据训练，性能提升了27.42个百分点。
• 在仅使用源域基线的基础上添加合成图像反而导致性能下降，表明仅靠图像合成不足以应对域偏移，必须结合域自适应。
• 在仅在目标域中每人为3个标注样本的半监督设置下，SSPP-DAN实现了72.08%的准确率，显著优于半监督DAN基线方法（67.28%）。
• 在LFW-SSPP基准测试中，SSPP-DAN实现了97.91%的识别准确率，超越了先前最先进方法，展现出对“野生”数据分布的强大泛化能力。

(a) DA fails to work because of the lack of samples in the source domain