[论文解读] Surpassing Human-Level Face Verification Performance on LFW with GaussianFace

Chaochao Lu, Xiaoou Tang|arXiv (Cornell University)|Apr 15, 2014

Face recognition and analysis参考文献 58被引用 51

一句话总结

本文提出GaussianFace，一种基于判别性高斯过程潜在变量模型（DGPLVM）的多任务学习框架，通过利用来自多个源域的多样化数据，提升人脸识别的泛化能力。通过引入高效的KFDA等价形式和GP近似方法，该方法在LFW数据集上实现了98.52%的准确率，首次超越人类水平表现（97.53%），且无需人工调参即可自动适应复杂的数据分布。

ABSTRACT

Face verification remains a challenging problem in very complex conditions with large variations such as pose, illumination, expression, and occlusions. This problem is exacerbated when we rely unrealistically on a single training data source, which is often insufficient to cover the intrinsically complex face variations. This paper proposes a principled multi-task learning approach based on Discriminative Gaussian Process Latent Variable Model, named GaussianFace, to enrich the diversity of training data. In comparison to existing methods, our model exploits additional data from multiple source-domains to improve the generalization performance of face verification in an unknown target-domain. Importantly, our model can adapt automatically to complex data distributions, and therefore can well capture complex face variations inherent in multiple sources. Extensive experiments demonstrate the effectiveness of the proposed model in learning from diverse data sources and generalize to unseen domain. Specifically, the accuracy of our algorithm achieves an impressive accuracy rate of 98.52% on the well-known and challenging Labeled Faces in the Wild (LFW) benchmark. For the first time, the human-level performance in face verification (97.53%) on LFW is surpassed.

研究动机与目标

• 在非受限环境下缩小机器与人类在人脸识别性能上的差距。
• 通过利用多个源域数据缓解域偏移与数据偏差，提升目标域的泛化能力。
• 开发一种灵活的非参数模型，能够自动适应复杂的真实世界人脸变化，无需人工调参。
• 通过高效的推理近似方法，将基于高斯过程的模型扩展至大规模人脸识别任务。

提出的方法

• 在判别性高斯过程潜在变量模型（DGPLVM）框架内提出一种多任务学习形式，以充分利用来自多个源域的数据。
• 引入核Fisher判别分析（KFDA）的高效等价形式，简化并加速DGPLVM的优化过程。
• 采用高斯过程近似与锚点图（anchor graphs）技术，实现对大规模数据集的可扩展推理与预测。
• 支持两种人脸识别模式：直接后验似然分类与高维特征提取以供下游分类器使用。
• 以目标域与源域数据分布之间的互信息最大化作为学习目标，增强域自适应能力。
• 采用缩放共轭梯度（SCG）优化方法，并结合可扩展近似技术，高效处理大规模协方差矩阵。

实验结果

研究问题

• RQ1 多源域自适应方法是否能在LFW基准上超越人类水平的性能？
• RQ2 像DGPLVM这样的非参数自适应模型，在复杂人脸变化下是否比单源方法具有更好的泛化能力？
• RQ3 融合来自多个域的多样化数据是否能提升在未见目标域中的泛化性能？
• RQ4 可扩展的GP近似方法是否能在降低训练时间与内存消耗的同时保持高准确率？

主要发现

• GaussianFace模型在LFW基准上实现了98.52%的准确率，超过人类水平表现的97.53%。
• 这是首个在标准评估协议下，机器学习系统在LFW上超越人类水平表现的实例。
• 通过利用多个源域的数据，该模型展现出更优的泛化能力，有效降低对单一域偏差的过拟合。
• GP近似与锚点图的使用实现了可扩展推理，使DGPLVM在大规模人脸识别任务中成为可行方案。
• 该模型对复杂数据分布的自动适应能力优于需要人工指定网络结构或超参数的方法。