[论文解读] The Deepfake Detection Challenge (DFDC) Preview Dataset

Brian Dolhansky, Russ Howes+3 more|arXiv (Cornell University)|Oct 19, 2019

Digital Media Forensic Detection参考文献 6被引用 157

一句话总结

该论文引入了一个包含两种换脸方法的 5K 视频 DFDC 预览数据集，提供了带参与者同意的数据收集过程，概述了强调加权精确度的评估指标，并报告了 TamperNet 和 XceptionNet 模型的基线结果。

ABSTRACT

In this paper, we introduce a preview of the Deepfakes Detection Challenge (DFDC) dataset consisting of 5K videos featuring two facial modification algorithms. A data collection campaign has been carried out where participating actors have entered into an agreement to the use and manipulation of their likenesses in our creation of the dataset. Diversity in several axes (gender, skin-tone, age, etc.) has been considered and actors recorded videos with arbitrary backgrounds thus bringing visual variability. Finally, a set of specific metrics to evaluate the performance have been defined and two existing models for detecting deepfakes have been tested to provide a reference performance baseline. The DFDC dataset preview can be downloaded at: deepfakedetectionchallenge.ai

研究动机与目标

• 推动并使研究人员能够在多样化、基于同意的视频数据集上开展深度伪造检测研究。
• 提供一个预览数据集以基准检测方法并确立基线性能。
• 定义考虑深度伪造和真实视频之间流行率差异的评估指标。
• 使用简单的检测模型提供初始基线结果以指导未来研究。

提出的方法

• 描述具有众包演员的数据收集过程，确保性别、肤色和年龄的多样性。
• 创建两种换脸方法以模拟操控（方法 A 和 B），并基于脸部大小对换脸进行筛选以避免在特写帧中的近同一性换脸。
• 每个视频提取多个 15 秒片段，并对测试片段应用受控增强以模拟现实世界的退化。
• 定义加权精度（wP），以反映数据集与真实世界流量之间深度伪造的流行差异，并在召回时报告 log(wP) 的衰减水平。
• 提供基线评估，使用 TamperNet、XceptionNet（Face）和 XceptionNet（Full）在基于帧的和视频级检测上的表现。

实验结果

研究问题

• RQ1 在多样化、经同意的 DFDC 预览数据集上，简单的深伪检测模型的基线性能如何？
• RQ2 弱监督或基于帧的与基于整段视频的检测方法在该数据集上的比较如何？
• RQ3 应如何调整评估指标以反映真实世界中假视频与真视频之间的类别不平衡？
• RQ4 在受控预览设置中，标准增强对检测到的深伪视频有何影响？

主要发现

表格	指标	数值1	数值2	数值3
表 2：在为 log-WP 进行优化时的视频级测试指标	Precision	0.833	0.930	0.784
	Recall	0.033	0.084	0.268
	log-WP	-3.044	-2.140	-3.352

• DFDC 预览数据集包含 4,464 段训练片段和 780 段测试片段，覆盖 66 名参与者且均获得参与者同意。
• 使用两种换脸方法（A 和 B）生成换脸，并基于脸部大小比进行筛选，以避免在特写帧中出现近似同一性换脸。
• 对测试片段应用视频增强（将 FPS 降至 15、分辨率降至 1/4、编码质量降低），以模拟现实世界的降解。
• 基线结果显示在针对 log(WP) 进行优化的情况下，TamperNet 的精确度为 0.833，召回率为 0.033，log(WP) = -3.044。
• XceptionNet（Face）在相同设置下达到 0.930 的精确度和 0.084 的召回率，log(WP) = -2.140，而 XceptionNet（Full）达到 0.784 的精确度和 0.268 的召回率，log(WP) = -3.352。
• 论文定义了加权精度指标（log(WP)），用于反映数据集与有机流量之间现实的深度伪造流行差异。