[论文解读] On the Capacity of Face Representation

Sixue Gong, Vishnu Naresh Boddeti+1 more|arXiv (Cornell University)|Sep 29, 2017

Face recognition and analysis参考文献 3被引用 13

一句话总结

本文提出了一种几何框架，通过将人脸嵌入建模为高维空间中的流形，来估计深度人脸表征的容量，同时考虑了认知不确定性与随机性噪声。该框架估计，FaceNet 和 SphereFace 在 1% 误接受率下分别可分辨最多 27,000 和 840,000 个身份，且在更严格的阈值下容量急剧下降。

ABSTRACT

In this paper we address the following question, given a face representation, how many identities can it resolve? In other words, what is the capacity of the face representation? A scientific basis for estimating the capacity of a given face representation will not only benefit the evaluation and comparison of different representation methods, but will also establish an upper bound on the scalability of an automatic face recognition system. We cast the face capacity problem in terms of packing bounds on a low-dimensional manifold embedded within a deep representation space. By explicitly accounting for the manifold structure of the representation as well two different sources of representational noise: epistemic (model) uncertainty and aleatoric (data) variability, our approach is able to estimate the capacity of a given face representation. To demonstrate the efficacy of our approach, we estimate the capacity of two deep neural network based face representations, namely 128-dimensional FaceNet and 512-dimensional SphereFace. Numerical experiments on unconstrained faces (IJB-C) provides a capacity upper bound of $2.7 imes10^4$ for FaceNet and $8.4 imes10^4$ for SphereFace representation at a false acceptance rate (FAR) of 1%. As expected, capacity reduces drastically at lower FARs. The capacity at FAR of 0.1% and 0.001% is $2.2 imes10^3$ and $1.6 imes10^{1}$, respectively for FaceNet and $3.6 imes10^3$ and $6.0 imes10^0$, respectively for SphereFace.

研究动机与目标

• 提出一种科学的、分析性的方法，用于估计人脸表征在独立于实证评估的前提下可分辨的身份最大数量。
• 通过定义表征容量的理论上限，解决自动人脸识别系统的可扩展性极限问题。
• 将人脸表征空间建模为嵌入在高维空间中的低维流形，同时纳入模型不确定性与数据可变性。
• 提供一种与数据集无关的度量标准，用于基于其内在容量比较不同人脸表征方法。
• 通过在非受限数据集上使用最先进的深度人脸嵌入模型 FaceNet 和 SphereFace，验证该框架的有效性。

提出的方法

• 将全局人脸表征空间和类别特定的嵌入表示为高维空间中的超椭球体，假设其服从多元正态分布。
• 考虑两类噪声：认知不确定性（模型局限性）和随机性变异性（面部外观与姿态的数据级差异）。
• 将容量估计为总体超椭球体体积与类别特定超椭球体体积的比值，并根据期望的误接受率（FAR）进行调整。
• 在 IJB-C 数据集上使用数值估计方法，计算在不同流形形状假设（超球面、轴对齐超椭球体、一般超椭球体）下的容量边界。
• 使用一个包含 11,000 名代表性样本的小样本，应用简化的流形支持模型，以估计总体不确定性。
• 通过比较不同几何假设下的容量估计结果来验证该方法，表明各向异性的超椭球体相比各向同性或轴对齐近似，可实现显著更高的容量。

实验结果

研究问题

• RQ1 在指定误接受率下，给定人脸表征可分辨的身份数量的理论上限是多少？
• RQ2 认知噪声与随机性噪声源如何影响高维嵌入空间中人脸表征的容量？
• RQ3 嵌入流形的几何结构——特别是其形状与体积——如何决定人脸识别系统的可扩展性？
• RQ4 不同流形形状假设（如超球面与超椭球体）在多大程度上影响容量估计？
• RQ5 在日益严格的误接受率约束下，如 FaceNet 和 SphereFace 等先进深度人脸表征的容量如何变化？

主要发现

• 在 1% 误接受率下，FaceNet 在 IJB-C 数据集上的容量估计上限为 2.7 × 10⁴ 个身份。
• SphereFace 在相同 FAR 下实现了显著更高的容量估计值 8.4 × 10⁴ 个身份，表明其在非受限条件下具有更强的判别能力。
• 在更严格的 0.1% FAR 下，FaceNet 的容量下降至 2.2 × 10³ 个身份，SphereFace 的容量则减少至 3.6 × 10³ 个身份。
• 在 0.001% FAR 下，FaceNet 的容量进一步下降至 1.6 × 10¹ 个身份，SphereFace 的容量则降至 6.0 × 10⁰ 个身份，凸显其容量的急剧下降趋势。
• 各向异性超椭球体（一般形状）的容量估计值比各向同性或轴对齐超椭球体高出两个数量级，证明了建模形状各向异性的关键作用。
• 结果揭示了理论容量与实证性能之间存在显著差距，表明当前人脸表征模型仍有较大改进空间。