[论文解读] Style Transfer Applied to Face Liveness Detection with User-Centered Models

A R Israel Laurensi, Luciana Trinkaus Menon+3 more|arXiv (Cornell University)|Jul 16, 2019

Face recognition and analysis参考文献 27被引用 4

一句话总结

本文提出一种以用户为中心的面部反 spoofing 模型（FAS-UCM），通过使用 VGG19 的风格迁移技术生成伪造图像以增强训练数据，实现个性化活体检测。该方法在 SiW 数据库上使用自定义的 Spoof-ModNet 架构，实现了平均分类错误率 0.22，证明了在真实伪造数据有限的情况下，个性化伪造检测的可行性。

ABSTRACT

This paper proposes a face anti-spoofing user-centered model (FAS-UCM). The major difficulty, in this case, is obtaining fraudulent images from all users to train the models. To overcome this problem, the proposed method is divided in three main parts: generation of new spoof images, based on style transfer and spoof image representation models; training of a Convolutional Neural Network (CNN) for liveness detection; evaluation of the live and spoof testing images for each subject. The generalization of the CNN to perform style transfer has shown promising qualitative results. Preliminary results have shown that the proposed method is capable of distinguishing between live and spoof images on the SiW database, with an average classification error rate of 0.22.

研究动机与目标

• 解决为个性化面部活体检测模型训练时伪造图像数据有限的挑战。
• 克服在现实场景中为每位用户单独收集伪造图像的不切实际性。
• 开发一种基于风格迁移的数据增强策略，从真实面部图像合成逼真的伪造图像。
• 训练个性化卷积神经网络（CNN），以提升每个用户的泛化能力和检测准确率。
• 使用 ACER、FAR 和 FRR 等标准指标，在 SiW 数据库上评估以用户为中心模型的性能。

提出的方法

• 基于 VGG19 的 Gatys 等人风格迁移方法，将伪造图像的风格迁移到真实面部图像上，生成合成伪造样本。
• 从 SiW 数据库中选取具有代表性的伪造图像作为风格迁移的参考。
• 在结合真实图像与生成伪造图像的个性化数据上，训练两种 CNN 架构——Spoof-ModNet 和 MobileNetV2。
• 采用以用户为中心的训练协议，即每个用户的模型均在其自身数据上独立进行训练与测试。
• 在风格迁移过程中，使用感知损失和内容损失，以保留面部身份特征，同时迁移伪造特征（如摩尔纹图案）。
• 使用 ACER、FAR、FRR 和 F1 分数评估模型性能，测试按用户进行，以模拟真实世界部署场景。

实验结果

研究问题

• RQ1 风格迁移技术能否有效从真实图像生成逼真的伪造面部图像，以增强活体检测的训练数据？
• RQ2 使用合成伪造图像进行以用户为中心的训练，对面部活体检测模型的性能有何影响？
• RQ3 不同 CNN 架构（Spoof-ModNet 与 MobileNetV2）对个性化活体检测的准确率与鲁棒性有何影响？
• RQ4 当仅拥有有限的真实伪造数据时，该方法在不同用户间的泛化能力如何？
• RQ5 基于风格迁移的数据增强是否能优于随机分类，在以用户为中心的面部活体检测中？

主要发现

• 所提出的 Spoof-ModNet 在 SiW 数据库上实现了平均分类错误率（ACER）0.22，优于 MobileNetV2 的 ACER 0.26。
• Spoof-ModNet 实现了 75% 的准确率、44% 的 FAR、1% 的 FRR 和 78% 的 F1 分数，表明其在区分真实与伪造图像方面表现优异。
• 超过 50% 的用户在 Spoof-ModNet 上准确率超过 70%，而 MobileNetV2 表现更一致但准确率较低，50% 的用户准确率介于 65.07% 至 76.28% 之间。
• Spoof-ModNet 的最低准确率为 34.69%，最高为 99.49%，表明用户间性能差异较大，但最高性能表现极强。
• 尽管 ACER 高于最先进方法，但该方法显著优于随机分类，证明其在个性化活体检测中的可行性。
• 该方法表明，风格迁移可生成可信的伪造图像，从而在训练以用户为中心的模型时提升模型泛化能力。