[论文解读] The Effect of Wearing a Mask on Face Recognition Performance: an Exploratory Study

Naser Damer, Jonas Henry Grebe+4 more|arXiv (Cornell University)|Jul 27, 2020

Face recognition and analysis参考文献 14被引用 33

一句话总结

本文提出了一个专门收集的数据集，用于研究现实世界口罩如何影响三种人脸识别系统（ArcFace、SphereFace 和一项 COTS 解决方案），并在带口罩的探测样本上发现 genuine–imposter 分离度显著下降，特别是在额外光照条件下。

ABSTRACT

Face recognition has become essential in our daily lives as a convenient and contactless method of accurate identity verification. Process such as identity verification at automatic border control gates or the secure login to electronic devices are increasingly dependant on such technologies. The recent COVID-19 pandemic have increased the value of hygienic and contactless identity verification. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition in a collaborative environment is currently sensitive yet understudied issue. We address that by presenting a specifically collected database containing three session, each with three different capture instructions, to simulate realistic use cases. We further study the effect of masked face probes on the behaviour of three top-performing face recognition systems, two academic solutions and one commercial off-the-shelf (COTS) system.

研究动机与目标

• 在协作场景中激励对健康相关遮挡（口罩）下的人脸识别进行评估。
• 提供一个现实的带口罩人脸数据库的第一版，包含三次会话以模拟登录/身份验证场景。
• 分析带口罩探针如何影响顶尖的学术与商业人脸识别系统。
• 量化分数分布和验证指标的变化，以指导未来的数据集和方法开发。

提出的方法

• 引入一个新数据集，每个受试者三次会话以及三种捕获条件（基线、口罩、带照明的口罩）。
• 在带口罩与未带口罩探针上评估三个人脸识别解决方案（ArcFace、SphereFace 和 Neurotechnology COTS）。
• 使用 MTCNN 进行检测/对齐，获得 512-d 特征向量；并与欧几里得距离（ArcFace）和余弦距离（SphereFace）进行比较。
• 在各实验中报告 FTX（提取失败）及标准验证指标（EER、FMR100、FMR1000、ZeroFMR）和 ROC 曲线。

实验结果

研究问题

• RQ1 戴口罩在最先进的人脸识别系统中如何影响 genuine 与 imposter 的得分分布？
• RQ2 额外照明在多大程度上与戴口罩的情况交互影响识别性能？
• RQ3 学术系统（ArcFace、SphereFace）与商业系统（COTS）在带口罩探针下，在验证指标和分数分离程度方面是否有不同的响应？

主要发现

• 带口罩的探针将 genuine 得分分布向 imposter 分布偏移，降低分离度，削弱 ArcFace、SphereFace 和 COTS 的验证性能。
• 额外照明（带光的口罩）进一步恶化带口罩探针的性能，可能是由于新的反射/阴影模式。
• 在带口罩探针下，ArcFace 与 SphereFace 在 EER、FMR100、FMR1000、ZeroFMR 出现明显退化；SphereFace 的退化比 ArcFace 更严重。
• COTS 在验证指标上仍接近完美，但仍显示 genuine 分数的较大偏移，表明在口罩下决策边界发生变化。
• FTX（提取失败）随口罩增多而增加，表明在带口罩场景下的检测/特征提取挑战。