[论文解读] The DeepFake Detection Challenge Dataset

Brian Dolhansky, Joanna Bitton+5 more|arXiv (Cornell University)|Jun 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 185

一句话总结

本文介绍了深度伪造检测挑战赛（DFDC）数据集，这是目前公开可用的最大规模人脸替换视频数据集，包含超过100,000段来自3,426名自愿参与演员的视频片段，采用基于生成对抗网络（GAN）和非学习型的人脸替换方法创建。研究证明，仅在DFDC数据集上训练的模型能够泛化到现实世界中的深度伪造视频，为检测研究建立了有价值的基准。

ABSTRACT

Deepfakes are a recent off-the-shelf manipulation technique that allows anyone to swap two identities in a single video. In addition to Deepfakes, a variety of GAN-based face swapping methods have also been published with accompanying code. To counter this emerging threat, we have constructed an extremely large face swap video dataset to enable the training of detection models, and organized the accompanying DeepFake Detection Challenge (DFDC) Kaggle competition. Importantly, all recorded subjects agreed to participate in and have their likenesses modified during the construction of the face-swapped dataset. The DFDC dataset is by far the largest currently and publicly available face swap video dataset, with over 100,000 total clips sourced from 3,426 paid actors, produced with several Deepfake, GAN-based, and non-learned methods. In addition to describing the methods used to construct the dataset, we provide a detailed analysis of the top submissions from the Kaggle contest. We show although Deepfake detection is extremely difficult and still an unsolved problem, a Deepfake detection model trained only on the DFDC can generalize to real in-the-wild Deepfake videos, and such a model can be a valuable analysis tool when analyzing potentially Deepfaked videos. Training, validation and testing corpuses can be downloaded from this https URL.

研究动机与目标

• 通过创建大规模、公开可用的数据集，应对人工智能生成的深度伪造日益增长的威胁，以支持检测研究。
• 通过在Kaggle上举办深度伪造检测挑战赛，提供标准化基准以评估检测模型。
• 通过确保所有参与者的肖像均获得知情同意，保障数据收集的伦理合规性。
• 分析挑战赛中表现最佳的模型，评估其在现实世界深度伪造视频上的泛化能力。
• 推动开发可靠的检测工具，使其能够在实际应用中分析潜在被篡改的视频。

提出的方法

• 使用多种人脸替换技术构建数据集，包括基于生成对抗网络（GAN）和非学习型方法，应用于3,426名付费演员的视频。
• 所有参与者均提供了知情同意，确保其肖像在人脸替换内容制作中的伦理使用。
• 数据集包含超过100,000段视频片段，并按训练、验证和测试集进行均衡划分。
• 组织了基于Kaggle的竞赛，使用DFDC数据集作为主要训练和评估资源，以评估检测模型。
• 研究分析了挑战赛中表现最佳的提交结果，评估模型在不同人脸替换方法下的性能、泛化能力和鲁棒性。
• 数据集和训练资源已公开发布，供研究使用，支持可复现性与进一步开发。

实验结果

研究问题

• RQ1 仅在DFDC数据集上训练的检测模型是否能够泛化到训练过程中未见过的真实世界深度伪造视频？
• RQ2 不同的深度学习架构在DFDC数据集中区分真实视频与人脸替换视频方面的有效性如何？
• RQ3 表现优异的检测模型从DFDC数据集中学习到了哪些关键模式或特征？
• RQ4 在合成人脸替换样本上训练的模型在真实世界深度伪造视频上的测试表现如何？
• RQ5 当前深度伪造检测模型在应用于多样化的人脸替换技术时，其局限性和失效模式是什么？

主要发现

• 仅在DFDC数据集上训练的模型在真实世界深度伪造视频上表现出泛化能力，表明该数据集在现实世界检测中的实用性。
• 挑战赛中表现最佳的模型在测试集上达到了高准确率，表明深度学习方法能够有效检测人脸替换视频。
• 检测任务仍然具有挑战性，尤其在识别不同人脸替换方法下细微篡改方面存在显著困难。
• 对真实世界深度伪造视频的泛化能力已被观察到，但性能因篡改类型和视频质量而异。
• DFDC数据集支持有意义的基准测试，并有助于开发鲁棒的检测系统。
• 通过所有参与者知情同意获得的伦理化数据收集方式，增强了数据集在研究中的可信度和可复现性。