[论文解读] Structure Destruction and Content Combination for Face Anti-Spoofing

Ke-Yue Zhang, Taiping Yao+5 more|arXiv (Cornell University)|Jul 22, 2021

Biometric Identification and Security参考文献 28被引用 4

一句话总结

本文提出了一种新颖的破坏与组合网络（DCN）用于人脸反spoofing，通过破坏面部结构并融合不同子域的内容来提升鲁棒性。通过使用结构破坏模块与内容组合模块，结合局部关系建模，该方法在Oulu-NPU数据集上实现了0.62%的ACER，达到最先进性能，展现出卓越的泛化能力与特征判别能力，且无需辅助监督。

ABSTRACT

In pursuit of consolidating the face verification systems, prior face anti-spoofing studies excavate the hidden cues in original images to discriminate real persons and diverse attack types with the assistance of auxiliary supervision. However, limited by the following two inherent disturbances in their training process: 1) Complete facial structure in a single image. 2) Implicit subdomains in the whole dataset, these methods are prone to stick on memorization of the entire training dataset and show sensitivity to nonhomologous domain distribution. In this paper, we propose Structure Destruction Module and Content Combination Module to address these two imitations separately. The former mechanism destroys images into patches to construct a non-structural input, while the latter mechanism recombines patches from different subdomains or classes into a mixup construct. Based on this splitting-and-splicing operation, Local Relation Modeling Module is further proposed to model the second-order relationship between patches. We evaluate our method on extensive public datasets and promising experimental results to demonstrate the reliability of our method against state-of-the-art competitors.

研究动机与目标

• 解决现有面部反spoofing方法对全局面部结构的过度依赖问题。
• 缓解训练数据集中隐含子域导致的域偏差问题。
• 提升模型在多样化攻击类型及未见域上的泛化能力。
• 通过建模局部图像块间关系，增强特征判别能力。

提出的方法

• 结构破坏模块将输入图像分割为随机排列的图像块，以消除全局面部结构的影响。
• 内容组合模块将来自不同类别或子域的图像块混合到单张图像中，以促进域不变性学习。
• 局部关系建模模块使用余弦相似度来建模图像块之间的二阶关系，增强同一类别特征的一致性。
• 该框架联合优化局部细节提取与跨块关系学习，以提升鲁棒性。
• 采用简化的主干网络，表明性能提升源于网络结构设计，而非模型复杂度。
• 该方法避免使用深度图或r-ppg信号等辅助监督，转而依赖数据重组与自监督学习。

实验结果

研究问题

• RQ1 在输入图像中破坏面部结构是否能减少对全局面部模式的过拟合？
• RQ2 将来自不同子域或类别的图像块进行组合，是否能提升模型在不同域间的泛化能力？
• RQ3 建模图像块之间的二阶关系是否能增强反spoofing任务中的特征判别能力？
• RQ4 在跨数据集评估中，所提方法与最先进方法相比表现如何？
• RQ5 在所提框架中，缺乏辅助监督在多大程度上影响性能？

主要发现

• 所提方法在Oulu-NPU协议1上的ACER达到0.62%，优于所有先前方法。
• 在SiW数据集上，该方法在协议1和协议2中表现最佳，协议3中结果也具有可比性。
• 消融实验表明，结构破坏、内容组合与局部关系建模三个模块均逐步促进性能提升。
• 特征可视化显示，结构破坏模块降低了对面部边缘与结构线索的依赖。
• 内容组合模块显著提升了不同域中真实样本与伪造样本在特征空间中的分离度。
• 局部关系建模模块通过t-SNE可视化证实，增强了特征空间中类内紧凑性与类间可分性。