[论文解读] PatchNet: A Simple Face Anti-Spoofing Framework via Fine-Grained Patch Recognition

Chien-Yi Wang, Yu-Ding Lu+2 more|arXiv (Cornell University)|Mar 27, 2022

Biometric Identification and Security被引用 10

一句话总结

PatchNet 提出了一种新颖的人脸反攻防框架，将任务重新定义为细粒度的补丁类型识别，通过局部图像补丁对采集设备与呈现材料的组合进行分类。通过利用非对称边缘基于损失和自监督相似性损失，其在同数据集、跨数据集以及域泛化基准上均实现了最先进性能，通过局部特征学习实现了对未见欺骗类型的鲁棒检测。

ABSTRACT

Face anti-spoofing (FAS) plays a critical role in securing face recognition systems from different presentation attacks. Previous works leverage auxiliary pixel-level supervision and domain generalization approaches to address unseen spoof types. However, the local characteristics of image captures, i.e., capturing devices and presenting materials, are ignored in existing works and we argue that such information is required for networks to discriminate between live and spoof images. In this work, we propose PatchNet which reformulates face anti-spoofing as a fine-grained patch-type recognition problem. To be specific, our framework recognizes the combination of capturing devices and presenting materials based on the patches cropped from non-distorted face images. This reformulation can largely improve the data variation and enforce the network to learn discriminative feature from local capture patterns. In addition, to further improve the generalization ability of the spoof feature, we propose the novel Asymmetric Margin-based Classification Loss and Self-supervised Similarity Loss to regularize the patch embedding space. Our experimental results verify our assumption and show that the model is capable of recognizing unseen spoof types robustly by only looking at local regions. Moreover, the fine-grained and patch-level reformulation of FAS outperforms the existing approaches on intra-dataset, cross-dataset, and domain generalization benchmarks. Furthermore, our PatchNet framework can enable practical applications like Few-Shot Reference-based FAS and facilitate future exploration of spoof-related intrinsic cues.

研究动机与目标

• 为了解决现有面部反攻防方法过度拟合数据集偏差且在未见欺骗类型上表现不佳的局限性。
• 利用局部采集特征——特别是采集设备与呈现材料的组合——作为欺骗检测的内在线索。
• 开发一种训练框架，通过聚焦于细粒度补丁级别识别而非整体图像分类，提升特征泛化能力。
• 实现实际应用，如少样本参考基反攻防和补丁类型检索，利用学习到的嵌入空间。

提出的方法

• 将面部反攻防重新定义为细粒度补丁类型识别任务，其中每个补丁根据其采集设备和呈现材料进行分类。
• 直接从原始人脸图像中裁剪固定大小、无畸变的补丁，以保留区分性局部线索，并避免因缩放导致的畸变。
• 引入一种非对称边缘基于 Softmax 损失，对真实类嵌入施加更大的角度边缘，以缓解类别不平衡并提升判别能力。
• 提出一种自监督相似性损失，以在单个采集中强制实现空间变换（如旋转、位置偏移）下的特征不变性。
• 训练深度神经网络将补丁嵌入到归一化的超球面上，从而支持基于余弦相似度的下游应用比较。
• 利用所得的归一化嵌入空间实现如少样本参考基 FAS 和补丁类型检索等应用。

Figure 1 : The face recognition model learns a face embedding space to discriminate between identities. Our fine-grained patch-type recognition model learns a patch embedding space to discriminate between patches with different capture characteristics.

实验结果

研究问题

• RQ1 细粒度补丁类型识别是否能在超越二元真实/欺骗分类的面部反攻防任务中提升泛化能力？
• RQ2 将采集设备与呈现材料的组合建模为补丁类型，如何增强对未见欺骗类型的鲁棒性？
• RQ3 非对称边缘损失与自监督相似性损失在补丁嵌入空间中在多大程度上提升了特征判别力与不变性？
• RQ4 学习到的补丁嵌入空间是否能支持如少样本参考基反攻防等实际应用？
• RQ5 在单独采集设备上测试时性能如何变化？补丁级别分析能否指导系统改进？

主要发现

• PatchNet 在同数据集、跨数据集以及域泛化基准上均实现了最先进性能，在 O&C&I 到 M 协议上的 AUC 达到 98.46%，在 O&M&I 到 C 协议上达到 94.58%。
• 在单个采集设备上，PatchNet 在 M1 上达到 99.54% AUC，在 M2 上达到 98.63%，在 C3 上达到 98.13%，即使在画质较低的设备上也表现出强大鲁棒性。
• 在 10 次样本真实参考特征下，PatchNet 在 M1 上的 AUC 提升至 99.8%，在 C3 上达到 99.2%，表明在少样本场景下具有高度实用性。
• 使用 O 数据集中的真实样本进行补丁类型检索，成功识别出相关的真实与欺骗类型，前 7 名匹配中包含来自 M 和 C 数据集的高相似度类型。
• 从测试中移除模糊的真实类型（如 C2_L、C1_L、I_L）后，AUC 提升至 95.27%，若将其重新定义为欺骗类别，AUC 进一步提升至 95.87%。
• 消融实验证实，非对称边缘损失与自监督相似性损失在所有基准上均对性能提升有显著贡献。

Figure 2 : Overview of our proposed PatchNet framework . We address the face anti-spoofing with a fine-grained patch-type recognition model. The patch-type classes are pre-defined by the combination of the capture device and the presenting material, and the patch inputs are extracted from the face c