[论文解读] SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution Distance

Fu-Zhao Ou, Xingyu Chen+7 more|arXiv (Cornell University)|Mar 10, 2021

Face recognition and analysis参考文献 32被引用 9

一句话总结

SDD-FIQA 提出了一种无监督的人脸图像质量评估方法，利用类内相似度分布与类间相似度分布之间的 Wasserstein 距离作为质量伪标签，实现无需人工标注的准确质量预测。该方法在多个基准测试和识别模型上均优于当前最先进方法，展现出更优的准确率与泛化能力。

ABSTRACT

In recent years, Face Image Quality Assessment (FIQA) has become an indispensable part of the face recognition system to guarantee the stability and reliability of recognition performance in an unconstrained scenario. For this purpose, the FIQA method should consider both the intrinsic property and the recognizability of the face image. Most previous works aim to estimate the sample-wise embedding uncertainty or pair-wise similarity as the quality score, which only considers the information from partial intra-class. However, these methods ignore the valuable information from the inter-class, which is for estimating to the recognizability of face image. In this work, we argue that a high-quality face image should be similar to its intra-class samples and dissimilar to its inter-class samples. Thus, we propose a novel unsupervised FIQA method that incorporates Similarity Distribution Distance for Face Image Quality Assessment (SDD-FIQA). Our method generates quality pseudo-labels by calculating the Wasserstein Distance (WD) between the intra-class similarity distributions and inter-class similarity distributions. With these quality pseudo-labels, we are capable of training a regression network for quality prediction. Extensive experiments on benchmark datasets demonstrate that the proposed SDD-FIQA surpasses the state-of-the-arts by an impressive margin. Meanwhile, our method shows good generalization across different recognition systems.

研究动机与目标

• 解决现有 FIQA 方法仅关注类内相似度或嵌入不确定性，而忽略对可识别性至关重要的类间相似度的问题。
• 构建一种无需标签的 FIQA 框架，通过建模类内与类间相似度分布，直接将质量评估与识别性能关联。
• 通过在训练和测试阶段对多种识别模型进行评估，提升方法在多样化识别模型上的泛化能力。
• 确立 FIQA 作为可识别性估计问题的新范式，其基础为相似度分布距离。

提出的方法

• 使用预训练的识别模型，为每张人脸图像收集类内相似度（Pos-Sim）和类间相似度（Neg-Sim）分布。
• 计算 Pos-Sim 与 Neg-Sim 分布之间的 Wasserstein 距离（WD），作为质量伪标签，反映类内与类间相似度之间的分离程度。
• 使用 Huber 损失训练回归网络，从伪标签预测质量分数，实现端到端学习，无需人工标注的质量标签。
• 通过引入 O(n) 实现的相似度分布距离，优化方法效率，将时间复杂度从 O(n²) 降低。
• 采用固定数量的 top-k 最近邻（K=12）和 m 组相似度对（m=24），在准确率与计算成本之间取得平衡。
• 在多种识别模型（如 ResNet101-MSIM、ResNet101-CASIA）上应用该框架，以评估泛化性能。

Figure 1: Our method simultaneously considers similarities of the target sample (red point) with intra-class samples (green points), and with inter-class samples (yellow points). The distribution distance between Pos-Sim and Neg-Sim is calculated as the quality pseudo-label, which is more amicable t

实验结果

研究问题

• RQ1 同时建模类内与类间相似度分布是否能超越仅依赖类内信息的方法，从而提升人脸图像质量评估性能？
• RQ2 在无监督设置下，相似度分布之间的 Wasserstein 距离作为人脸图像质量代理指标的有效性如何？
• RQ3 所提出方法在不同人脸识别模型和数据集上是否具备良好的泛化能力？
• RQ4 超参数 K（邻居数量）和 m（相似度对数量）对方法性能的影响如何？
• RQ5 与仅使用类内或仅使用类间相似度信息相比，包含类间相似度信息的质量标签方法表现如何？

主要发现

• SDD-FIQA 在 LFW、Adience 和 IJB-C 数据集上均达到最先进性能，FMR=1e-2 时平均 AUC 达 0.6898，优于此前方法（如 PCNet 的 0.6369）。
• 在 IJB-C 数据集上，SDD-FIQA 在 FMR=1e-2 时 AUC 达 0.6768，优于第二名方法 PCNet（0.6537）。
• 该方法展现出强大的泛化能力：当以 ResNet101-CASIA 作为部署模型时，在 Adience 上达到 0.5790 AUC，在 IJB-C 上达到 0.6768 AUC，显著优于基于学习的基线方法。
• 消融实验证实，同时使用类内与类间相似度分布可获得最佳性能，仅使用类内（Pos-Only）优于仅使用类间（Neg-Only），而完整 SDD-FIQA 方法达到最高 AUC。
• 参数研究显示，当 K=12 且 m=24 时，AUC 稳定并趋于收敛，表明在该范围内方法对超参数选择具有鲁棒性。
• SDD 的 O(n) 实现将计算复杂度从 O(n²) 降低，支持在大规模数据集上高效部署。

Figure 2: The framework of SDD-FIQA. Step 1: The training data traverses the face recognition model, then its Pos-Sim and Neg-Sim are collected. Step 2: The Wasserstein distance between the Pos-Sim and Neg-Sim is calculated as the quality pseudo-label. Step 3: The quality regression network is train