[论文解读] Taming Self-Supervised Learning for Presentation Attack Detection: In-Image De-Folding and Out-of-Image De-Mixing.

Haozhe Liu, Zhe Kong+4 more|arXiv (Cornell University)|Sep 9, 2021

Digital Media Forensic Detection参考文献 46被引用 4

一句话总结

该论文提出 IF-OM，一种用于演示攻击检测（PAD）的自监督学习方法，通过图像内展开（基于循环一致性的局部特征学习）和图像外去混叠（基于拓扑一致性的全局实例特定特征学习），提升对未知演示攻击工具的泛化能力。在 OULU-NPU 和 MSU-MFSD 上，其 EER 达到 18.60%，相较于基线方法在 CASIA-FASD 和 Idiap Replay-Attack 上训练时，EER 降低 9.54%。

ABSTRACT

Biometric systems are vulnerable to the Presentation Attacks (PA) performed using various Presentation Attack Instruments (PAIs). Even though there are numerous Presentation Attack Detection (PAD) techniques based on both deep learning and hand-crafted features, the generalization of PAD for unknown PAI is still a challenging problem. The common problem with existing deep learning-based PAD techniques is that they may struggle with local optima, resulting in weak generalization against different PAs. In this work, we propose to use self-supervised learning to find a reasonable initialization against local trap, so as to improve the generalization ability in detecting PAs on the biometric system.The proposed method, denoted as IF-OM, is based on a global-local view coupled with De-Folding and De-Mixing to derive the task-specific representation for PAD.During De-Folding, the proposed technique will learn region-specific features to represent samples in a local pattern by explicitly maximizing cycle consistency. While, De-Mixing drives detectors to obtain the instance-specific features with global information for more comprehensive representation by maximizing topological consistency. Extensive experimental results show that the proposed method can achieve significant improvements in terms of both face and fingerprint PAD in more complicated and hybrid datasets, when compared with the state-of-the-art methods. Specifically, when training in CASIA-FASD and Idiap Replay-Attack, the proposed method can achieve 18.60% Equal Error Rate (EER) in OULU-NPU and MSU-MFSD, exceeding baseline performance by 9.54%. Code will be made publicly available.

研究动机与目标

• 解决未知演示攻击工具（PAIs）在演示攻击检测（PAD）中的泛化挑战。
• 克服基于深度学习的 PAD 方法常陷入局部最优解的局限，从而降低泛化性能。
• 通过自监督预训练改进表示学习，避免陷入不良局部极小值。
• 构建统一框架，同时捕捉局部（区域特定）与全局（实例特定）特征，实现鲁棒 PAD。
• 在复杂且混合的数据集（包括 OULU-NPU 和 MSU-MFSD）上，通过跨数据集评估展示优越性能。

提出的方法

• 提出一种全局-局部对比学习框架，结合图像内展开与图像外去混叠，实现自监督表示学习。
• 通过在裁剪图像区域之间最大化循环一致性来实现展开，以学习局部、区域特定的特征。
• 通过在不同数据增强之间最大化拓扑一致性来实现去混叠，以学习全局、实例特定的特征。
• 将自监督特征作为下游 PAD 分类任务的强初始化，降低陷入局部最优的风险。
• 使用标准交叉熵损失对自监督特征进行端到端微调，训练最终的 PAD 分类器。
• 结合局部与全局表示，提升对真实生物识别系统中多样化且未见的 PAIs 的鲁棒性。

实验结果

研究问题

• RQ1 通过展开与去混叠的自监督学习，能否提升对未知演示攻击工具的 PAD 泛化能力？
• RQ2 所提出的全局-局部对比学习框架在捕捉多样化数据集上 PAD 的判别性特征方面效果如何？
• RQ3 自监督预初始化在多大程度上降低了深度学习 PAD 模型陷入局部最优的风险？
• RQ4 在 OULU-NPU 和 MSU-MFSD 的跨数据集评估中，IF-OM 方法相较于最先进 PAD 方法表现如何？
• RQ5 图像内展开与图像外去混叠的结合是否能实现优于现有自监督或有监督方法的泛化性能？

主要发现

• 所提出的 IF-OM 方法在 CASIA-FASD 和 Idiap Replay-Attack 上训练后，在 OULU-NPU 和 MSU-MFSD 上达到 18.60% 的等错误率（EER），显著优于基线方法。
• 与基线相比，EER 降低 9.54 个百分点，证明其对未见 PAIs 和复杂数据集具有强大泛化能力。
• 该方法在人脸与指纹 PAD 任务中均表现出一致的性能提升，表明其具有广泛适用性。
• 采用基于循环一致性和拓扑一致性的自监督预训练，有效降低了陷入局部最优的风险，增强了模型鲁棒性。
• 展开与去混叠组件能有效捕捉局部纹理模式与全局结构信息，提升检测准确率。
• 代码将公开发布，支持可复现性，并推动自监督 PAD 领域的进一步研究。