[论文解读] The Effect of Wearing a Face Mask on Face Image Quality

Biying Fu, Florian Kirchbuchner+1 more|arXiv (Cornell University)|Oct 21, 2021

Face recognition and analysis参考文献 33被引用 4

一句话总结

本研究利用最先进的面部图像质量评估（FIQA）方法，调查口罩对人脸图像质量的退化影响，对比真实口罩、模拟口罩与无口罩人脸。研究发现，口罩显著降低图像质量和识别性能，且模拟口罩与真实口罩的效果不一致；此外，FIQA网络对被遮挡区域的关注度降低，尤其在合成口罩中更为明显，原因在于纹理和颜色伪影。

ABSTRACT

Due to the COVID-19 situation, face masks have become a main part of our daily life. Wearing mouth-and-nose protection has been made a mandate in many public places, to prevent the spread of the COVID-19 virus. However, face masks affect the performance of face recognition, since a large area of the face is covered. The effect of wearing a face mask on the different components of the face recognition system in a collaborative environment is a problem that is still to be fully studied. This work studies, for the first time, the effect of wearing a face mask on face image quality by utilising state-of-the-art face image quality assessment methods of different natures. This aims at providing better understanding on the effect of face masks on the operation of face recognition as a whole system. In addition, we further studied the effect of simulated masks on face image utility in comparison to real face masks. We discuss the correlation between the mask effect on face image quality and that on the face verification performance by automatic systems and human experts, indicating a consistent trend between both factors. The evaluation is conducted on the database containing (1) no-masked faces, (2) real face masks, and (3) simulated face masks, by synthetically generating digital facial masks on no-masked faces. Finally, a visual interpretation of the face areas contributing to the quality score of a selected set of quality assessment methods is provided to give a deeper insight into the difference of network decisions in masked and non-masked faces, among other variations.

研究动机与目标

• 理解口罩对人脸图像质量的影响，这是影响人脸识别性能退化的一个关键但研究不足的因素。
• 比较真实口罩与模拟口罩对人脸图像质量和验证性能的影响。
• 分析面部图像质量评估（FIQA）方法是否与自动人脸识别及人类专家表现相关。
• 可视化并解释FIQA网络在带口罩和无口罩人脸上的注意力机制，以理解决策差异。
• 评估模拟口罩中颜色和形状变化对FIQA分数及网络注意力模式的影响。

提出的方法

• 采用四种最先进的面部图像质量评估（FIQA）方法：MagFace、FaceQnet，以及另外两种（未命名），以量化不同口罩条件下的人脸图像质量。
• 构建了一个受控数据库，包含三类：无口罩人脸（No-M）、真实人脸口罩（Real-M）和对相同基础图像应用的模拟人脸口罩（Sim-M）。
• 使用既定类型（A–F）和颜色的模拟口罩，依据先前工作[27]中的定义，其中C型口罩还包含随机颜色变化。
• 采用Score-CAM可视化方法解释FIQA网络的注意力图，识别对质量评分贡献最大的面部区域。
• 使用商用现成（COTS）人脸识别系统和人类专家评估人脸识别性能，并与FIQA分数进行比较。
• 开展受控实验，评估FIQA分数、验证准确率与人类判断在真实和模拟口罩下的相关性。

实验结果

研究问题

• RQ1 佩戴口罩如何通过最先进的FIQA方法测量影响人脸图像质量？
• RQ2 口罩引起的人脸图像质量下降是否与自动系统及人类专家观察到的识别性能下降相对应？
• RQ3 在人脸图像质量和验证性能方面，模拟口罩与真实口罩相比有何差异？
• RQ4 模拟口罩对图像质量的影响是否与对人脸识别性能的影响相关？与真实口罩相比有何不同？
• RQ5 FIQA网络最关注哪些面部区域？当处理颜色或形状不同的真实与模拟口罩时，这种注意力如何变化？

主要发现

• 佩戴口罩在所有四种FIQA方法中均显著降低人脸图像质量，表明其在识别任务中图像可用性的一致性下降。
• 口罩引起的人脸图像质量下降与自动系统及人类专家的识别性能下降强相关。
• 模拟口罩未能完全复现真实口罩引起的质量退化，表明合成口罩的应用未能完全捕捉真实世界中的视觉与纹理效应。
• 模拟口罩中的颜色变化会影响FIQA网络的注意力与评分，表明神经网络对像素级变化（即使在非可见区域）也极为敏感。
• FIQA网络对被遮挡的面部区域（尤其是鼻子和下颌区域）的关注度降低，尤其在模拟口罩中更为明显，表明其对遮挡区域的依赖性下降。
• FIQA模型在真实与模拟口罩上的注意力模式存在差异：真实口罩虽有遮挡，但仍引发对可见面部结构的更细致注意力；而模拟口罩通常仅吸引对可见区域的注意，忽略细微纹理线索。