[论文解读] Swapped Face Detection using Deep Learning and Subjective Assessment

Xinyi Ding, Zohreh Raziei+4 more|arXiv (Cornell University)|Sep 10, 2019

Face recognition and analysis参考文献 24被引用 7

一句话总结

本文提出了一种基于深度迁移学习的面部替换检测模型，可在极少误报的情况下实现超过96%的真正例率，同时通过logits差值引入不确定性估计，以提升模型的可信度。此外，研究通过自建网站开展人工成对比较，发现模型不确定性与人类对真实感的感知之间存在强相关性（r > 0.75），并发布了迄今为止最大的公开静态图像面部替换数据集。

ABSTRACT

The tremendous success of deep learning for imaging applications has resulted in numerous beneficial advances. Unfortunately, this success has also been a catalyst for malicious uses such as photo-realistic face swapping of parties without consent. Transferring one person's face from a source image to a target image of another person, while keeping the image photo-realistic overall has become increasingly easy and automatic, even for individuals without much knowledge of image processing. In this study, we use deep transfer learning for face swapping detection, showing true positive rates >96% with very few false alarms. Distinguished from existing methods that only provide detection accuracy, we also provide uncertainty for each prediction, which is critical for trust in the deployment of such detection systems. Moreover, we provide a comparison to human subjects. To capture human recognition performance, we build a website to collect pairwise comparisons of images from human subjects. Based on these comparisons, images are ranked from most real to most fake. We compare this ranking to the outputs from our automatic model, showing good, but imperfect, correspondence with linear correlations >0.75. Overall, the results show the effectiveness of our method. As part of this study, we create a novel, publicly available dataset that is, to the best of our knowledge, the largest public swapped face dataset created using still images. Our goal of this study is to inspire more research in the field of image forensics through the creation of a public dataset and initial analysis.

研究动机与目标

• 开发一种可靠的基于深度学习的面部替换检测系统，引入不确定性估计，以提升在真实场景部署中的可信度。
• 通过收集人类受试者对成对图像的比较结果，评估模型性能与人类感知的一致性。
• 创建并发布迄今为止最大的公开静态图像面部替换人脸数据集，包含86位名人共420,053张图像。
• 将模型预测结果与人类排名进行比较，评估其在检测虚假人脸时与人类直觉的一致性。
• 通过提供基准数据集和对比分析，激发图像取证领域的进一步研究。

提出的方法

• 采用预训练的ResNet-50模型进行迁移学习，并在大规模面部替换数据集上微调，用于真实与虚假人脸的二分类任务。
• 通过两类输出的logits差值（似然比）估计预测不确定性，假设差值越小表示置信度越低。
• 部署自建网站，收集400张选定图像的人工成对比较，生成从最真实到最虚假的人类感知排序。
• 应用近似排序算法（Hamming-LUCB）以减少所需成对比较次数，同时保持准确性。
• 使用Grad-CAM可视化注意力图，显示模型聚焦于面部区域（鼻部与眼部），与人类视觉注意力一致。
• 通过皮尔逊线性相关与斯皮尔曼等级相关分析，比较模型logits边际（不确定性）与人类排序的一致性。

实验结果

研究问题

• RQ1 与人类感知相比，深度学习模型在检测面部替换方面表现如何？
• RQ2 模型的不确定性估计（通过logits差值实现）是否与人类在检测虚假人脸时的困难程度相关？
• RQ3 模型对人脸图像的排序与人类成对比较得出的排序有多相似？
• RQ4 在大规模、多样化的数据集上，该模型的真正例率与误报率表现如何？
• RQ5 模型的关注区域在多大程度上与人类在面部特征上的视觉注意力一致？

主要发现

• 所提出的模型在极少误报的情况下实现了超过96%的真正例率，表现出极高的检测准确率。
• 基于logits差值的模型不确定性估计与人类感知具有强相关性，对AE-GAN和Nirkin方法生成的图像，皮尔逊线性相关系数均超过0.75，斯皮尔曼等级相关系数也均超过0.75。
• 对于AE-GAN方法，模型logits边际与人类排序的皮尔逊相关系数为0.8332，对于Nirkin方法为0.7896，p值均小于0.01。
• 人类受试者在检测Nirkin方法生成的图像时更为困难，这些图像更具照片级真实感且保留更高分辨率，而AE-GAN生成的图像则更模糊。
• Grad-CAM可视化结果证实，模型聚焦于面部中央区域（鼻部与眼部），与人类注视模式一致，且这些区域通常也是伪造痕迹最集中的位置。
• 本研究发布了包含86位名人共420,053张图像的新型公开数据集，是目前所知最大的公开静态图像面部替换人脸数据集。