[论文解读] My Eyes Are Up Here: Promoting Focus on Uncovered Regions in Masked Face Recognition

Pedro C. Neto, Fadi Boutros+5 more|arXiv (Cornell University)|Aug 2, 2021

Face recognition and analysis参考文献 22被引用 19

一句话总结

本文提出了一种新颖的训练范式，通过在修改后的三元组损失中结合均方误差（MSE）与传统三元组损失，聚焦于未被遮挡的面部区域，从而提升遮挡面部识别（MFR）的性能。该方法通过引导嵌入向量优先关注未被遮挡的区域，在合成数据集和真实遮挡面部数据集上均实现了最先进（SOTA）的性能，AUC最高达0.985，EER降低至6.2%。

ABSTRACT

The recent Covid-19 pandemic and the fact that wearing masks in public is now mandatory in several countries, created challenges in the use of face recognition systems (FRS). In this work, we address the challenge of masked face recognition (MFR) and focus on evaluating the verification performance in FRS when verifying masked vs unmasked faces compared to verifying only unmasked faces. We propose a methodology that combines the traditional triplet loss and the mean squared error (MSE) intending to improve the robustness of an MFR system in the masked-unmasked comparison mode. The results obtained by our proposed method show improvements in a detailed step-wise ablation study. The conducted study showed significant performance gains induced by our proposed training paradigm and modified triplet loss on two evaluation databases.

研究动机与目标

• 解决由于疫情相关口罩佩戴导致的遮挡面部识别（MFR）挑战。
• 提升在遮挡对比未遮挡面部的验证性能，这是现实世界中的关键场景。
• 开发一种通过聚焦于未被遮挡面部区域来增强模型鲁棒性的训练范式。
• 通过消融研究探究损失函数修改对MFR性能的影响。
• 在合成与真实世界遮挡面部数据集上验证方法的有效性。

提出的方法

• 提出一种级联训练范式：首先使用交叉熵（CE）损失训练分类头。
• 然后通过冻结除最终嵌入层外的所有层，对网络进行微调。
• 引入一种修改后的三元组损失，结合均方误差（MSE）以指导嵌入学习。
• 该修改后的损失在锚点与负样本距离小于锚点与正样本距离时施加惩罚，且边界值为0。
• 使用Smooth Grad-CAM++可视化特征重要性，以验证模型对未被遮挡面部区域的关注。
• MSE组件促使模型学习强调未被遮挡面部区域的表征。

实验结果

研究问题

• RQ1 将MSE与三元组损失结合，如何提升在遮挡对比未遮挡面部验证中的MFR性能？
• RQ2 聚焦于未被遮挡面部区域在多大程度上增强了MFR中模型的鲁棒性？
• RQ3 两阶段训练方法（先分类后嵌入微调）是否提升了MFR性能？
• RQ4 与基线模型如VGGFace2相比，所提方法在真实世界遮挡面部识别中的表现如何？
• RQ5 消融研究中，各组件（CE、三元组损失、MSE）对最终性能的贡献分别是什么？

主要发现

• 在合成遮挡面部数据集上，所提方法（CE + TL + MSE）实现了AUC为0.985，EER为6.2%，FMR10为4.1%。
• 在真实遮挡面部数据集上，该方法在U-M模式（未遮挡对比遮挡）下AUC达到0.957，EER降低至9.799%。
• 消融研究证实，在CE + TL基础上增加MSE显著提升了性能。
• 仅在合成数据上训练的模型在真实遮挡数据上也表现出强泛化能力，表明所提损失具有鲁棒性。
• Grad-CAM++可视化结果证实，MSE修改后的模型比基线模型更关注未被遮挡的面部区域。
• 如预期，该方法在M-M（遮挡对比遮挡）模式下未提升性能，因为训练目标专门针对U-M验证进行了优化。