[论文解读] Web-Scale Training for Face Identification

Yaniv Taigman, Ming Yang+2 more|arXiv (Cornell University)|Jun 20, 2014

Face recognition and analysis参考文献 22被引用 13

一句话总结

本文提出了一种基于自举（bootstrapping）的训练策略，用于深度人脸识别模型，以替代随机子采样，从而缓解大规模数据集上的性能饱和问题。通过利用网络规模的数据并优化表示范数，该方法在LFW验证和1:N识别基准上均取得了当前最优结果，首次在1,000人画廊上实现了66.5%的Rank-1准确率，超越了商用系统。

ABSTRACT

Scaling machine learning methods to very large datasets has attracted considerable attention in recent years, thanks to easy access to ubiquitous sensing and data from the web. We study face recognition and show that three distinct properties have surprising effects on the transferability of deep convolutional networks (CNN): (1) The bottleneck of the network serves as an important transfer learning regularizer, and (2) in contrast to the common wisdom, performance saturation may exist in CNN's (as the number of training samples grows); we propose a solution for alleviating this by replacing the naive random subsampling of the training set with a bootstrapping process. Moreover, (3) we find a link between the representation norm and the ability to discriminate in a target domain, which sheds lights on how such networks represent faces. Based on these discoveries, we are able to improve face recognition accuracy on the widely used LFW benchmark, both in the verification (1:1) and identification (1:N) protocols, and directly compare, for the first time, with the state of the art Commercially-Off-The-Shelf system and show a sizable leap in performance.

研究动机与目标

• 解决当训练数据规模超过当前水平时，深度人脸识别性能出现饱和的问题。
• 通过重新思考网络瓶颈作为正则化器的作用，提升迁移学习的泛化能力。
• 实现在真实世界1:N识别基准上，学术模型与商用现成系统（COTS）的直接比较。
• 探究人脸嵌入中表示范数、图像质量与分类置信度之间的关联。
• 通过高效且非均匀的采样策略，将深度人脸识别扩展至数十亿张图像。

提出的方法

• 用一种自举程序替代标准的随机子采样，该程序在训练过程中优先选择难以分类的样本。
• 利用深度网络中的瓶颈层作为正则化器，以在迁移学习中平衡特异性和泛化性。
• 优化1024+维的表示层，以在低误报率（FAR）下提升判别能力。
• 测量表示范数，并将其与检索成功率及分类置信度相关联。
• 在包含超过100万张图像和数百万身份的网络规模数据集上进行训练，采用改进版的DeepFace架构。
• 在内部10,000人验证集上通过Rank-1准确率以及在1%和0.1% FAR下的DIR（Detection and Identification Rate）进行模型选择。

实验结果

研究问题

• RQ1 当训练数据规模增加时，深度人脸识别是否会出现性能饱和？若存在，如何缓解？
• RQ2 在人脸识别的迁移学习中，深度卷积神经网络中的瓶颈层如何作为正则化器发挥作用？
• RQ3 人脸嵌入中表示范数、图像质量与分类置信度之间存在何种关系？
• RQ4 与随机子采样相比，基于自举的采样策略是否能提升1:N人脸识别性能？
• RQ5 所提方法在真实世界1:N识别基准上与商用现成系统相比表现如何？

主要发现

• 所提自举方法在1:N LFW基准上实现了82.5%的Rank-1准确率，显著优于商用系统的56.7%。
• 1024+表示层将0.1% FAR下的DIR提升至46.97%，相比4096D基线（37.79%）有显著提升。
• 表示范数与检索成功率之间存在强烈的负相关性（ρ = -0.251），表明较低范数可提升判别能力。
• 压缩后的256D表示比4096D初始表示泛化能力更强，Rank-1准确率达到70.60%。
• 该方法首次实现了学术模型与COTS系统在1:N识别基准上的直接比较，揭示了对商用系统的性能超越。
• 在某一数据规模之后观察到性能饱和现象，而自举方法通过聚焦于困难样本有效缓解了该问题。