[论文解读] Vulnerability of Face Recognition to Deep Morphing

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|Oct 3, 2019

Face recognition and analysis参考文献 22被引用 13

一句话总结

本文评估了最先进的面部识别系统——VGG 和 FaceNet——对 GAN 生成的深度合成视频的脆弱性，分别显示出 85.62% 和 95.00% 的错误接受率。本文提出了 DeepfakeTIMIT 数据集，并表明基于图像质量度量的检测方法结合 SVM 在高质量深度合成视频上实现了 8.97% 的等错误率，凸显了迫切需要开发更先进的检测方法。

ABSTRACT

It is increasingly easy to automatically swap faces in images and video or morph two faces into one using generative adversarial networks (GANs). The high quality of the resulted deep-morph raises the question of how vulnerable the current face recognition systems are to such fake images and videos. It also calls for automated ways to detect these GAN-generated faces. In this paper, we present the publicly available dataset of the Deepfake videos with faces morphed with a GAN-based algorithm. To generate these videos, we used open source software based on GANs, and we emphasize that training and blending parameters can significantly impact the quality of the resulted videos. We show that the state of the art face recognition systems based on VGG and Facenet neural networks are vulnerable to the deep morph videos, with 85.62 and 95.00 false acceptance rates, respectively, which means methods for detecting these videos are necessary. We consider several baseline approaches for detecting deep morphs and find that the method based on visual quality metrics (often used in presentation attack detection domain) leads to the best performance with 8.97 equal error rate. Our experiments demonstrate that GAN-generated deep morph videos are challenging for both face recognition systems and existing detection methods, and the further development of deep morphing technologies will make it even more so.

研究动机与目标

• 评估最先进的面部识别系统对基于 GAN 的深度合成视频的脆弱性。
• 评估现有演示攻击检测领域的方法在识别深度合成视频方面的有效性。
• 提供一个公开可用的深度合成视频数据集，以支持可复现的研究和基准测试。
• 证明高质量 GAN 生成的面部替换可高成功率地绕过当前的面部识别系统。
• 推动开发针对日益逼真的合成媒体的更鲁棒的检测技术。

提出的方法

• 使用基于 GAN 的开源面部替换工具（faceswap-GAN）在 VidTIMIT 数据集中的 16对外貌相似个体上进行训练，生成深度合成视频。
• 创建两种视频质量等级：低质量（64×64）和高质量（128×128），共生成 620 个视频（每种质量等级 320 个）。
• 保留原始音频轨道，以隔离视觉篡改对人脸识别和检测的影响。
• 使用预训练的 VGG 和 FaceNet 模型评估人脸识别性能，分别从 fc7 和瓶颈层提取特征，并计算余弦距离进行匹配。
• 应用基线检测方法：像素 + PCA + LDA、IQM + PCA + LDA 和 IQM + SVM，使用 129 项图像质量度量（如模糊度、信噪比、光泽度等）。
• 使用等错误率（EER）和在保留测试集上的 10% FAR 时的 FRR 报告性能，由于数据集规模限制，未使用开发集。

实验结果

研究问题

• RQ1 最先进的面部识别系统（VGG 和 FaceNet）对 GAN 生成的深度合成视频有多脆弱？
• RQ2 现有的演示攻击检测技术能否有效检测深度合成视频？
• RQ3 GAN 生成的深度合成视频质量（低质量 vs. 高质量）如何影响检测性能？
• RQ4 基于图像质量度量的检测系统在区分深度合成视频与真实人脸方面的表现如何？
• RQ5 GAN 生成人脸的逼真度在多大程度上挑战了当前的面部识别和检测流程？

主要发现

• 基于 VGG 的面部识别在高质量深度合成视频上的错误接受率（FAR）达到 85.62%，表明存在显著脆弱性。
• 基于 FaceNet 的识别在高质量深度合成视频上的 FAR 高达 95.00%，表明更先进的模型并不一定对合成人脸更具鲁棒性。
• IQM+SVM 检测方法在高质量深度合成视频上实现了 8.97% 的等错误率（EER），优于其他基线方法。
• IQM+SVM 方法在高质量深度合成视频上于 10% FAR 时实现了 9.05% 的错误拒绝率（FRR），表明尽管真实感极高，仍具备强大的检测能力。
• 检测系统在高质量深度合成视频上的性能显著下降，表明未来 GAN 的进步将进一步挑战现有检测方法。
• 结果表明，通过 GAN 生成的深度合成视频在规避面部识别系统方面极为有效，迫切需要新的检测策略和数据集。