[论文解读] The Effect of Wearing a Mask on Face Recognition 
 Performance: 
 an Exploratory Study

Naser Damer, Jonas Henry Grebe+4 more|arXiv (Cornell University)|Jan 1, 2020

Face recognition and analysis被引用 45

一句话总结

该论文提出了一项探索性研究，研究戴口罩如何影响人脸识别性能，使用专门收集的数据库并评估三种识别系统（两种学术，一种商用）。结果显示对 genuine-imposter 可分性存在持续负面影响，ArcFace 和 SphereFace 的降幅显著，而 COTS 系统基本保持鲁棒。

ABSTRACT

Face recognition has become essential in our daily lives as a convenient and contactless method of accurate identity verification. Process such as identity verification at automatic border control gates or the secure login to electronic devices are increasingly dependant on such technologies. The recent COVID-19 pandemic have increased the value of hygienic and contactless identity verification. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition in a collaborative environment is currently sensitive yet understudied issue. We address that by presenting a specifically collected database containing three session, each with three different capture instructions, to simulate realistic use cases. We further study the effect of masked face probes on the behaviour of three top-performing face recognition systems, two academic solutions and one commercial off-the-shelf (COTS) system.

研究动机与目标

• 受 COVID-19 期间广泛佩戴口罩以及对可靠无接触身份验证需求的驱动，开展本研究。
• 创建一个现实地多样化的带口罩人脸数据库，覆盖每个被试三次会话以及三种捕获变体。
• 评估在带口罩探测条件下，三种表现最好的识别系统（两种学术系统，一种 COTS）相对于基线无口罩的性能。
• 分析分数分布、验证指标和检测失败情况，以评估在带口罩情境下的鲁棒性。

提出的方法

• 构建一个数据库，每个被试包含三次会话和三种捕获变体（基线：无口罩；口罩且无照明；口罩且有照明）。
• 在基线参考（BLR）与探测集（M1P、M2P、M12P）之间使用 N:N 验证比较。
• 评估 ArcFace（ResNet-100，带 MS1MV2 预训练）和 SphereFace（64-CNN，A-Softmax）使用 MTCNN 进行检测/对齐，得到 512 维嵌入，ArcFace 使用欧几里得距离，SphereFace 使用余弦距离。
• 纳入 COTS MegaMatcher 11.2 SDK 的评估以便比较。
• 报告 FTX（提取失败）以及验证指标（EER、FMR100、FMR1000、ZeroFMR）和跨各设定的 ROC 曲线。

实验结果

研究问题

• RQ1 佩戴口罩在基线与带口罩探测条件下如何影响人脸识别性能？
• RQ2 在带口罩的捕获过程中的额外照明是否会进一步退化或改变识别性能？
• RQ3 在带口罩的面部条件下，顶尖学术人脸识别方案与 COTS 系统相比如何？
• RQ4 在存在口罩时，真实和冒充者的分数分布在多大程度上发生偏移，以及对决策阈值的影响？

主要发现

• 带口罩的人脸探针将真实分数分布向冒充分布方向偏移，降低可分离性和总体性能。
• 额外照明（M2P）通常相较于无照明（M1P）增加了降解程度。
• 在带口罩探针下，ArcFace 和 SphereFace 的验证指标（EER、FMR100、FMR1000、ZeroFMR）降低，SphereFace 的影响程度高于 ArcFace。
• COTS 在传统指标方面几乎保持完美的验证性能，但在带口罩探针时真实分数出现显著偏移，提示潜在的后续风险。
• 即使在较小的评估数据集上也能看到真实-冒充者可分离性的损失，建议对带口罩人脸识别进行重新评估并使用更大规模的数据集。