[论文解读] Pixel-Level Face Image Quality Assessment for Explainable Face Recognition

Philipp Terhörst, Marco Huber+4 more|arXiv (Cornell University)|Oct 21, 2021

Face recognition and analysis被引用 4

一句话总结

本文提出了一种无需训练、与模型无关的方法，用于生成像素级人脸图像质量（PLQ）图，以解释哪些面部区域对识别性能的贡献最大。通过估计模型特定的质量分数，并将基于质量的梯度反向传播通过样本特定的回归模型，该方法生成了可解释的、高分辨率的质量图，能够识别因遮挡、噪声或ICAO标准不合规导致的低质量区域，从而增强人脸识别系统中的可解释性。

ABSTRACT

An essential factor to achieve high performance in face recognition systems is the quality of its samples. Since these systems are involved in daily life there is a strong need of making face recognition processes understandable for humans. In this work, we introduce the concept of pixel-level face image quality that determines the utility of pixels in a face image for recognition. We propose a training-free approach to assess the pixel-level qualities of a face image given an arbitrary face recognition network. To achieve this, a model-specific quality value of the input image is estimated and used to build a sample-specific quality regression model. Based on this model, quality-based gradients are back-propagated and converted into pixel-level quality estimates. In the experiments, we qualitatively and quantitatively investigated the meaningfulness of our proposed pixel-level qualities based on real and artificial disturbances and by comparing the explanation maps on faces incompliant with the ICAO standards. In all scenarios, the results demonstrate that the proposed solution produces meaningful pixel-level qualities enhancing the interpretability of the complete face image quality. The code is publicly available

研究动机与目标

• 为解决人脸图像质量评估（FIQA）系统中可解释性不足的问题，尤其是在图像注册过程中。
• 为用户提供可理解的反馈，说明为何因质量问题而拒绝某张人脸图像。
• 开发一种无需重新训练即可为识别任务分配像素级效用分数的方法。
• 实现对降低识别性能的特定面部区域的识别。

提出的方法

• 首先，通过反复将输入图像通过预训练人脸识别网络的最后层，计算出模型特定的质量估计值 $ Q_I $。
• 其次，通过在人脸识别模型中扩展一个质量节点 $ N_{\hat{Q}_I} $，并使用可学习权重 $ \omega_{N_{\hat{Q}_I}} $ 将其连接，构建样本特定的质量回归模型 $ \mathcal{M}_Q(I) $，并将估计的 $ Q_I $ 作为目标。
• 第三，通过 $ \mathcal{M}_Q(I) $ 反向传播基于质量的梯度，以生成显著性图。
• 显著性图被转换为像素级质量图 $ P(I) $，表示每个像素对识别的效用。
• 在反向传播过程中应用梯度裁剪，以防止梯度爆炸并确保质量图生成的稳定性。
• 该方法适用于任何预训练的人脸识别模型，无需微调或重新训练。

实验结果

研究问题

• RQ1 能否在不重新训练人脸识别模型的前提下生成像素级质量图？
• RQ2 所提出的PLQ图是否能准确定位由遮挡或人为干扰引起的低质量区域？
• RQ3 PLQ图能否检测出人脸图像中ICAO标准不合规的情况？
• RQ4 PLQ图如何反映图像质量对识别性能的影响？
• RQ5 PLQ图能否通过指示需要增强的面部区域，指导图像采集的改进？

主要发现

• 对PLQ图识别出的低像素质量区域进行修复后，人脸图像质量（FIQ）显著提升，证实了该方法在检测质量下降区域方面的准确性。
• 在人脸图像上人为添加的随机遮罩被PLQ图可靠地识别为低质量区域，表明其对图像退化具有高度敏感性。
• PLQ图成功识别出ICAO标准不合规的区域，如部分遮挡、照明不当或面部位置不正确。
• 在某些情况下，阴影区域的像素级质量高于光照良好的区域，表明人脸识别模型可能更依赖于低光区域的纹理或对比度。
• 与FaceNet相比，使用ArcFace时质量估计值和PLQ图更加稳定和精确，反映出模型架构和训练方式的差异。
• 该方法具有模型依赖性，因为PLQ图会因底层人脸识别模型的偏见和特征提取能力而有所不同。