[论文解读] The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

Hang Du, Hailin Shi+3 more|arXiv (Cornell University)|Sep 28, 2020

Face recognition and analysis被引用 14

一句话总结

本综述全面回顾了端到端深度人脸识别技术，涵盖基于深度卷积神经网络（DCNN）的人脸检测、对齐与表征。它识别出性能强劲的基线方法，分析了各组件之间的相互作用，并指出了构建鲁棒、公平且可解释的人脸识别系统所面临的关键挑战与未来研究方向。

ABSTRACT

Face recognition is one of the most popular and long-standing topics in computer vision. With the recent development of deep learning techniques and large-scale datasets, deep face recognition has made remarkable progress and been widely used in many real-world applications. Given a natural image or video frame as input, an end-to-end deep face recognition system outputs the face feature for recognition. To achieve this, a typical end-to-end system is built with three key elements: face detection, face alignment, and face representation. The face detection locates faces in the image or frame. Then, the face alignment is proceeded to calibrate the faces to the canonical view and crop them with a normalized pixel size. Finally, in the stage of face representation, the discriminative features are extracted from the aligned face for recognition. Nowadays, all of the three elements are fulfilled by the technique of deep convolutional neural network. In this survey article, we present a comprehensive review about the recent advance of each element. To start with, we present an overview of the end-to-end deep face recognition. Then, we review the advance of each element, respectively, covering many aspects such as the to-date algorithm designs, evaluation metrics, datasets, performance comparison, existing challenges, and promising directions for future research. Also, we provide a detailed discussion about the effect of each element on its subsequent elements and the holistic system. Through this survey, we wish to bring contributions in two aspects: first, readers can conveniently identify the methods which are quite strong-baseline style in the subcategory for further exploration; second, one can also employ suitable methods for establishing a state-of-the-art end-to-end face recognition system from scratch.

研究动机与目标

• 系统性回顾端到端深度人脸识别领域的最新进展，重点关注三个核心组件：人脸检测、人脸对齐与人脸表征。
• 分析各组件对后续阶段及整体系统性能的影响及其相互依赖关系。
• 为每个子任务识别出性能强劲的基线方法，以支持未来的研究与系统开发。
• 突出显示开放性挑战，如域泛化、长尾数据、噪声标签以及未标注数据的利用。
• 提出未来研究方向，包括可解释模型、联合优化、通用预训练以及可信系统。

提出的方法

• 调研基于深度卷积神经网络（DCNN）的人脸检测、人脸对齐与人脸表征的最先进方法。
• 基于标准指标（如mAP、准确率）和基准数据集（如MS-Celeb-1M、CASIA-WebFace）评估算法性能。
• 通过消融研究与对比实验，分析各组件对下游性能的影响。
• 根据架构设计、损失函数与训练策略，对三个阶段的方法进行分类。
• 整合半监督学习、聚类与自监督预训练的见解，用于未标注数据的利用。
• 提出一个端到端训练的综合框架，并倡导为下游人脸分析任务采用通用预训练。

实验结果

研究问题

• RQ1 近期的深度学习方法如何提升端到端人脸识别中的人脸检测、对齐与表征性能？
• RQ2 各组件（检测、对齐、表征）对整体系统准确率的影响如何？
• RQ3 哪些方法可作为各子任务的强基线，以便在未来研究中实现公平比较？
• RQ4 在实际应用中，跨域识别、长尾数据、噪声标签以及未标注数据面临的关键挑战是什么？
• RQ5 如何通过联合建模与通用预训练，使端到端系统更具可解释性、公平性、鲁棒性与可信性？

主要发现

• 基于DCNN的人脸检测器在大规模数据集上已取得显著进步，实现了高精度，但在极端条件下仍面临挑战。
• 通过深度关键点定位实现的人脸对齐可显著提升表征质量，尤其在姿态与光照变化条件下。
• 基于DCNN的人脸表征在主要基准测试中已接近人类水平，边际损失与三元组损失函数表现出极高有效性。
• 整个系统的性能受限于最弱的组件，凸显了组件级优化与组件间协同作用的重要性。
• 长尾数据与域偏移仍是主要挑战，在低资源类别与域上观察到性能下降。
• 自监督与无监督预训练在学习通用人脸表征方面展现出潜力，可显著提升下游人脸分析任务的性能。