[论文解读] One-Shot GAN Generated Fake Face Detection

Hadi Mansourifar, Weidong Shi|arXiv (Cornell University)|Mar 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 9

一句话总结

本文提出一种基于场景理解与目标检测的单样本学习方法，用于检测 GAN 生成的虚假人脸。通过识别人脸中不合理的背景或异常物品等上下文不符的物体，该方法构建了基于检测到的物体的词袋表示，并利用稀疏特征向量，有效区分真实人脸与虚假人脸，在 Style-GAN 生成的数据上优于先前的方法。

ABSTRACT

Fake face detection is a significant challenge for intelligent systems as generative models become more powerful every single day. As the quality of fake faces increases, the trained models become more and more inefficient to detect the novel fake faces, since the corresponding training data is considered outdated. In this case, robust One-Shot learning methods is more compatible with the requirements of changeable training data. In this paper, we propose a universal One-Shot GAN generated fake face detection method which can be used in significantly different areas of anomaly detection. The proposed method is based on extracting out-of-context objects from faces via scene understanding models. To do so, we use state of the art scene understanding and object detection methods as a pre-processing tool to detect the weird objects in the face. Second, we create a bag of words given all the detected out-of-context objects per all training data. This way, we transform each image into a sparse vector where each feature represents the confidence score related to each detected object in the image. Our experiments show that, we can discriminate fake faces from real ones in terms of out-of-context features. It means that, different sets of objects are detected in fake faces comparing to real ones when we analyze them with scene understanding and object detection models. We prove that, the proposed method can outperform previous methods based on our experiments on Style-GAN generated fake faces.

研究动机与目标

• 解决传统模型因训练数据过时而难以检测新型、未见过的 GAN 生成虚假人脸的挑战。
• 开发一种鲁棒的单样本学习方法，以适应动态且不断演变的虚假人脸生成技术。
• 在标注的虚假人脸样本稀缺的低数据场景下，提升检测性能。
• 利用场景理解与目标检测作为预处理工具，从人脸图像中提取具有判别性的特征。

提出的方法

• 利用最先进的场景理解与目标检测模型，识别人脸图像中的异常或上下文不符的物体。
• 从每张人脸图像中提取检测到的物体，并将其表示为词袋形式，其中每个特征对应于检测到物体的置信度分数。
• 将每张输入图像转换为稀疏向量，编码检测到物体的存在及其置信度，从而实现高效的比较。
• 在该稀疏向量表示上训练分类器，以在单样本学习设置下区分真实人脸与 GAN 生成的虚假人脸。
• 利用预训练模型的可迁移特征，确保在不同 GAN 架构间的泛化能力。
• 在 Style-GAN 生成的虚假人脸数据上评估该方法，验证其在零样本与少样本检测场景下的有效性。

实验结果

研究问题

• RQ1 上下文不符的物体能否作为检测 GAN 生成虚假人脸的可靠判别线索？
• RQ2 基于目标检测与场景理解的单样本学习方法在检测新型虚假人脸方面效果如何？
• RQ3 所提出的方法是否能在不重新训练的情况下泛化至不同 GAN 架构？
• RQ4 与传统深度学习特征相比，检测物体的词袋表示是否能提升检测准确率？
• RQ5 当仅有一个真实或虚假样本可用时，该方法在低数据场景下的表现如何？

主要发现

• 所提方法在 Style-GAN 生成的虚假人脸检测中，尤其在单样本场景下，性能优于先前方法。
• 虚假人脸中上下文不符物体的出现频率显著高于真实人脸，提供了强有力的判别信号。
• 基于物体置信度分数的稀疏向量表示能够有效实现对未见虚假人脸类型的泛化。
• 该方法在低数据场景下表现出鲁棒性，证实其适用于单样本检测。
• 场景理解模型能有效提取通过标准人脸分析难以察觉的异常特征。