[论文解读] Revisiting Pixel-Wise Supervision for Face Anti-Spoofing

Zitong Yu, Xiaobai Li+3 more|arXiv (Cornell University)|Nov 24, 2020

Biometric Identification and Security参考文献 63被引用 12

一句话总结

本文提出了一种用于人脸反spoofing（FAS）的新型金字塔监督机制，通过局部和全局线索提供多尺度空间上下文，增强深度模型。通过将此监督机制集成到现有的像素级框架中，该方法在五个基准数据集上实现了SOTA性能，显著提升了EER指标和对未见攻击的鲁棒性，同时提高了模型的可解释性。

ABSTRACT

Face anti-spoofing (FAS) plays a vital role in securing face recognition systems from the presentation attacks (PAs). As more and more realistic PAs with novel types spring up, it is necessary to develop robust algorithms for detecting unknown attacks even in unseen scenarios. However, deep models supervised by traditional binary loss (e.g., `0' for bonafide vs. `1' for PAs) are weak in describing intrinsic and discriminative spoofing patterns. Recently, pixel-wise supervision has been proposed for the FAS task, intending to provide more fine-grained pixel/patch-level cues. In this paper, we firstly give a comprehensive review and analysis about the existing pixel-wise supervision methods for FAS. Then we propose a novel pyramid supervision, which guides deep models to learn both local details and global semantics from multi-scale spatial context. Extensive experiments are performed on five FAS benchmark datasets to show that, without bells and whistles, the proposed pyramid supervision could not only improve the performance beyond existing pixel-wise supervision frameworks, but also enhance the model's interpretability (i.e., locating the patch-level positions of PAs more reasonably). Furthermore, elaborate studies are conducted for exploring the efficacy of different architecture configurations with two kinds of pixel-wise supervisions (binary mask and depth map supervisions), which provides inspirable insights for future architecture/supervision design.

研究动机与目标

• 分析并回顾现有像素级监督方法在人脸反spoofing（FAS）中的应用，以增进理解并建立基准。
• 解决现有像素级监督在同时捕捉局部细节与全局语义方面的局限性。
• 提出一种即插即用的金字塔监督机制，以增强深度FAS模型的多尺度空间上下文学习能力。
• 通过更精确地定位spoofing区域，提升模型的可解释性。
• 为未来FAS方法设计提供关于架构-监督配置的实证洞察。

提出的方法

• 所提出的金字塔监督将来自不同感受野的多尺度特征图整合，以引导模型同时学习局部patch级特征与全局语义线索。
• 在多个尺度上应用监督信号——具体为8x8和4x4分辨率的特征图——这些信号源自真实标签的二值掩码或深度图。
• 监督以各尺度损失的加权和形式实现，使网络能够分层优化预测结果。
• 该框架兼容多种主干网络架构（如ResNet50、CDCN），可无缝集成到现有的像素级FAS流水线中。
• 方法在多尺度监督信号上使用标准交叉熵损失，无需额外复杂设计。
• 该方法在标准FAS协议下进行评估，包括数据集内跨类型测试以及对未见攻击的零样本泛化能力测试。

实验结果

研究问题

• RQ1 不同像素级监督信号（如二值掩码、深度图）如何影响FAS模型的性能与泛化能力？
• RQ2 与单尺度监督相比，多尺度监督是否能同时提升人脸反spoofing的准确率与可解释性？
• RQ3 在应对未见攻击类型方面，所提出的金字塔监督与SOTA方法相比是否展现出更强的鲁棒性？
• RQ4 当与不同监督策略结合时，网络架构选择（如ResNet50与CDCN）会产生何种影响？
• RQ5 金字塔监督在多大程度上能提升模型精确定位spoofing区域的能力？

主要发现

• 在SiW-M数据集上，所提出的金字塔监督（ResNet50-PS）在跨类型测试中实现了平均EER为11.5%，优于基线模型ResNet50-8x8（EER: 13.8%），EER降低17%。
• 在同一基准上，CDCN-PS的EER为11.5%，较基线CDCN（EER: 13.1%）提升12%，表明该方法在不同架构上均保持一致的性能增益。
• 该方法显著提升了可解释性：金字塔监督模型生成的spoofing预测图能清晰定位spoofing区域（如面具、打印物），同时在真实活体区域显著减少误报。
• 在“透明面具”和“部分纸张”等具有挑战性的未见攻击中，金字塔监督模型保持了更高的可靠性与更低的混淆度，优于标准像素级监督。
• 该方法在仅使用单一标签类型（二值掩码）的情况下，性能与BCN [9]相当（后者使用三种像素级标签：二值掩码、深度图、反射图），表明其高效且有效。
• 消融研究证实，多尺度监督在所有五个基准数据集上均持续提升性能，其中在跨类型与零样本泛化设置下提升最为显著。