[论文解读] VGGFace2: A dataset for recognising faces across pose and age

Qiong Cao, Li Shen+3 more|arXiv (Cornell University)|Oct 23, 2017

Face recognition and analysis参考文献 22被引用 194

一句话总结

介绍 VGGFace2，一个具有广泛姿态和年龄变异的大规模人脸数据集，并在 IJB 基准上显示使用其训练的 CNNs 的最新结果达到最先进水平。

ABSTRACT

In this paper, we introduce a new large-scale face dataset named VGGFace2. The dataset contains 3.31 million images of 9131 subjects, with an average of 362.6 images for each subject. Images are downloaded from Google Image Search and have large variations in pose, age, illumination, ethnicity and profession (e.g. actors, athletes, politicians). The dataset was collected with three goals in mind: (i) to have both a large number of identities and also a large number of images for each identity; (ii) to cover a large range of pose, age and ethnicity; and (iii) to minimize the label noise. We describe how the dataset was collected, in particular the automated and manual filtering stages to ensure a high accuracy for the images of each identity. To assess face recognition performance using the new dataset, we train ResNet-50 (with and without Squeeze-and-Excitation blocks) Convolutional Neural Networks on VGGFace2, on MS- Celeb-1M, and on their union, and show that training on VGGFace2 leads to improved recognition performance over pose and age. Finally, using the models trained on these datasets, we demonstrate state-of-the-art performance on all the IARPA Janus face recognition benchmarks, e.g. IJB-A, IJB-B and IJB-C, exceeding the previous state-of-the-art by a large margin. Datasets and models are publicly available.

研究动机与目标

• 创建一个具有广泛姿态、年龄、种族和职业变异的大规模人脸数据集，同时尽量减少标签噪声。
• 描述一个稳健的数据集构建流程，包含自动筛选和人工筛选阶段。
• 证明在 VGGFace2 上训练的模型在 IJB 基准以及跨姿态/跨年龄识别任务中达到最新研究水平。

提出的方法

• 从 Google Image Search 收集 3.31 百万张图像，覆盖 9131 个身份，并强调姿态/年龄变异。
• 应用多阶段筛选，包括自动分类、近重复移除，以及人工审核以降低标签噪声。
• 使用预训练分类器对姿态（yaw/pitch/roll）和明显年龄进行标注。
• 在 VGGFace2、MS-Celeb-1M 及其并集上训练 ResNet-50 与 SE-ResNet-50 模型；在 IJB-A/B/C 基准上进行评估。
• 为评估跨姿态和跨年龄识别，提供姿态和年龄模板。

(a) pose statistics

实验结果

研究问题

• RQ1 增加同一身份内部的姿态和年龄变异会如何影响人脸识别性能？
• RQ2 在一个广泛且带噪音的数据集（MS-Celeb-1M）进行预训练，再在 VGGFace2 上微调，是否能提升泛化能力？
• RQ3 在 IJB-A/B/C 基准上，基于 VGGFace2 训练的模型与在其他数据集上训练的模型相比表现如何？
• RQ4 对于不同模板（姿态/年龄），姿态变异对识别有多大影响，跨年龄匹配是否仍具有挑战性？

主要发现

• 在 VGGFace2 数据集上进行训练，在 VGGFace2 测试集上的 top-1 错误率为 3.9%，低于 VGGFace 的 10.6% 和 MS1M 的 5.6%。
• 在 IJB-A 的验证和识别指标上，基于 VGGFace2 训练的模型优于 MS1M 和 VGGFace。
• 在 IJB-A、IJB-B、IJB-C 基准的多种协议中，SE-ResNet-50 与 SENet 变体在 VGGFace2 上训练后达到最新研究水平。
• 姿态和年龄模板显示，当姿态相似时识别更容易，跨年龄匹配仍然具有挑战性，且 VGGFace2 模型提供的相似度分数高于其他模型。

(b) age statistics