[论文解读] QMagFace: Simple and Accurate Quality-Aware Face Recognition

Philipp Terhörst, Malte Ihlefeld+5 more|arXiv (Cornell University)|Nov 26, 2021

Face recognition and analysis被引用 4

一句话总结

QMagFace 提出了一种简单而有效的面部识别方法，通过线性质量加权函数将模型特定的面部图像质量整合到比较分数中，从而提升准确性。该方法使用幅度感知角边距损失（MagFace）进行训练，在 AgeDB（98.50%）、XQLFQ（83.95%）和 CFP-FP（98.74%）等基准测试中达到最先进性能，尤其在跨姿态和跨年龄等挑战性条件下表现优异。

ABSTRACT

Face recognition systems have to deal with large variabilities (such as different poses, illuminations, and expressions) that might lead to incorrect matching decisions. These variabilities can be measured in terms of face image quality which is defined over the utility of a sample for recognition. Previous works on face recognition either do not employ this valuable information or make use of non-inherently fit quality estimates. In this work, we propose a simple and effective face recognition solution (QMagFace) that combines a quality-aware comparison score with a recognition model based on a magnitude-aware angular margin loss. The proposed approach includes model-specific face image qualities in the comparison process to enhance the recognition performance under unconstrained circumstances. Exploiting the linearity between the qualities and their comparison scores induced by the utilized loss, our quality-aware comparison function is simple and highly generalizable. The experiments conducted on several face recognition databases and benchmarks demonstrate that the introduced quality-awareness leads to consistent improvements in the recognition performance. Moreover, the proposed QMagFace approach performs especially well under challenging circumstances, such as cross-pose, cross-age, or cross-quality. Consequently, it leads to state-of-the-art performances on several face recognition benchmarks, such as 98.50% on AgeDB, 83.95% on XQLFQ, and 98.74% on CFP-FP. The code for QMagFace is publicly available

研究动机与目标

• 解决在光照、姿态和表情变化等非约束条件下面部识别性能不一致的挑战。
• 克服先前方法忽略面部图像质量（FIQ）或在比较过程中使用非理想质量估计的局限性。
• 开发一种可泛化的、质量感知的比较函数，利用模型特定的 FIQ 来提升匹配准确性。
• 在多样化基准和跨姿态、跨年龄、跨质量等挑战性场景下，实现一致的性能提升。
• 确保在不同主干网络架构、训练数据集和评估协议下的鲁棒性与泛化能力。

提出的方法

• 使用幅度感知角边距（MagFace）损失训练面部识别模型，该损失生成的嵌入幅度与面部图像质量相关。
• 从学习到的嵌入幅度中提取模型特定的面部图像质量分数，实现质量感知的比较。
• 引入一个线性质量加权函数 $ \omega(s) $，根据两张人脸的平均质量对比较分数 $ s $ 进行调制。
• 将质量感知的比较分数定义为 $ \hat{s}(s, q_1, q_2) = s + \omega(s) \cdot \frac{q_1 + q_2}{2} $，其中 $ \omega(s) $ 通过在验证数据上确定的最优阈值得到。
• 使用线性拟合优化质量加权函数 $ \omega(s) $，使其与在不同错误匹配率（FMR）阈值下的最优权重 $ \omega_{\text{opt}} $ 对齐。
• 在推理阶段应用质量感知分数，以增强真实匹配与伪造匹配分布之间的可分性，尤其对低质量或模糊的人脸对效果显著。

实验结果

研究问题

• RQ1 将模型特定的面部图像质量整合到比较过程中，是否能在非约束条件下持续提升面部识别性能？
• RQ2 线性函数是否足以在不同数据库和决策阈值下对比较分数的最优质量加权进行建模？
• RQ3 所提出的质量感知评分机制是否能在不同主干网络架构和训练数据集上实现泛化？
• RQ4 在跨姿态、跨年龄或跨质量等挑战性识别场景下，质量感知方法的表现如何？
• RQ5 质量感知比较函数是否能在标准面部识别基准上实现最先进性能？

主要发现

• 在 AgeDB 上，QMagFace 达到 98.50% 的识别准确率，显著优于先前方法，尤其在跨年龄和跨姿态条件下表现突出。
• 在 XQLFQ 基准上，QMagFace 达到 83.95% 的准确率，展现出在跨质量识别任务中的强大性能。
• 在 CFP-FP 基准上，QMagFace 达到 98.74% 的准确率，创下基于图像的面部识别的最先进结果。
• 质量感知比较函数在广泛错误匹配率范围内持续提升性能，尤其在低 FMR 范围内表现更优。
• 最优质量加权函数 $ \omega(s) $ 在所有测试数据库和 MagFace 模型中均与决策阈值呈线性相关，验证了该方法的简洁性与泛化能力。
• 该方法表现出高度泛化能力：在某一数据库上学习的质量加权函数能良好泛化到其他数据库，表明其在不同训练与评估设置下的鲁棒性。