[论文解读] Unconstrained Face Verification using Deep CNN Features

Jun-Cheng Chen, Vishal M. Patel+1 more|arXiv (Cornell University)|Aug 7, 2015

Face recognition and analysis参考文献 32被引用 6

一句话总结

本文提出了一种基于深度卷积神经网络（DCNN）的人脸验证方法，利用CASIA-WebFace数据集的特征，在相对较小的数据集上进行训练，但在具有挑战性的IARPA Janus基准A（IJB-A）和Labeled Face in the Wild（LFW）数据集上实现了具有竞争力的性能。该方法结合了深度CNN特征与联合贝叶斯度量学习，对姿态、光照和表情等非约束性变化表现出鲁棒性。

ABSTRACT

In this paper, we present an algorithm for unconstrained face verification based on deep convolutional features and evaluate it on the newly released IARPA Janus Benchmark A (IJB-A) dataset. The IJB-A dataset includes real-world unconstrained faces from 500 subjects with full pose and illumination variations which are much harder than the traditional Labeled Face in the Wild (LFW) and Youtube Face (YTF) datasets. The deep convolutional neural network (DCNN) is trained using the CASIA-WebFace dataset. Extensive experiments on the IJB-A dataset are provided.

研究动机与目标

• 开发一种对姿态、光照、表情和遮挡等非约束性变化具有鲁棒性的人脸验证系统。
• 评估深度CNN特征在新发布的IARPA Janus基准A（IJB-A）数据集上的表现，该数据集提出了显著的真实世界挑战。
• 将所提方法与现有最先进方法进行比较，包括商用现成匹配器及其他深度学习模型。
• 探究联合贝叶斯度量学习在提升人脸验证相似性评分方面的有效性。
• 展示在中等规模数据集（CASIA-WebFace）上训练的DCNN模型向更复杂、非约束性数据集的泛化能力。

提出的方法

• 在包含约490,356张图像、10,548名个体的CASIA-WebFace数据集上训练深度卷积神经网络（DCNN）。
• 从训练网络的最后一个全连接层提取深度CNN特征，用于人脸表征。
• 应用联合贝叶斯度量学习来建模人脸对的联合分布，以类间与类内概率的比值作为相似性评分。
• 在IJB-A和LFW数据集上，使用余弦相似性和无限制的联合贝叶斯度量进行对比与评估。
• 在LFW上采用标准交叉验证协议，并定义了包括在特定FAR（错误接受率）水平下的TAR（真实接受率）和CMC（累积匹配特性）曲线在内的评估指标。
• 未来工作中将通过中间层的监督信息对模型进行微调，以提升判别能力与收敛速度。

实验结果

研究问题

• RQ1 在中等规模数据集（CASIA-WebFace）上训练的DCNN模型，能否有效泛化到如IJB-A这类高度非约束性的人脸验证基准？
• RQ2 在非约束性人脸验证任务中，深度CNN特征与传统方法（如Fisher向量编码和手工设计特征，例如LBP）相比表现如何？
• RQ3 与标准相似性度量（如余弦距离）相比，联合贝叶斯度量学习在多大程度上提升了验证准确率？
• RQ4 与使用显著更大训练数据的最先进深度学习模型（如DeepFace、FaceNet、DeepID2）相比，所提方法表现如何？
• RQ5 在非约束环境下，仅使用单一网络（而非集成模型）对性能和计算效率有何影响？

主要发现

• 在LFW数据集上，使用余弦相似性时，该方法实现了97.15% ± 0.7%的平均准确率，表明尽管训练数据量较小，性能依然出色。
• 采用联合贝叶斯度量学习后，该方法在LFW上的准确率达到97.45% ± 0.7%，显示出概率相似性建模的优势。
• 在IJB-A数据集上，该方法优于基于FV的方法和商用现成匹配器，表明其对姿态、光照和表情变化具有鲁棒性。
• 在IJB-A数据集上，该方法在FAR = 0.01时实现了TAR = 0.972 ± 0.005，凸显其在严格错误接受阈值下的优异表现。
• 特征提取时间仅为每张人脸图像0.006秒，表明计算效率极高。
• 尽管仅使用CASIA-WebFace中的490,356张图像，该方法仍表现出强大的泛化能力，相比之下，其他模型则使用数百万张图像进行训练（如FaceNet使用2.6亿张图像）。