[论文解读] On the Detection of Digital Face Manipulation

Hao Dang, Feng Liu+3 more|arXiv (Cornell University)|Oct 3, 2019

Digital Media Forensic Detection参考文献 61被引用 41

一句话总结

本论文引入一个基于注意力的层来提升被操纵人脸图像的检测，并对被操纵的区域进行定位，支持一个新的 Diverse Fake Face Dataset (DFFD)。

ABSTRACT

Detecting manipulated facial images and videos is an increasingly important topic in digital media forensics. As advanced face synthesis and manipulation methods are made available, new types of fake face representations are being created which have raised significant concerns for their use in social media. Hence, it is crucial to detect manipulated face images and localize manipulated regions. Instead of simply using multi-task learning to simultaneously detect manipulated images and predict the manipulated mask (regions), we propose to utilize an attention mechanism to process and improve the feature maps for the classification task. The learned attention maps highlight the informative regions to further improve the binary classification (genuine face v. fake face), and also visualize the manipulated regions. To enable our study of manipulated face detection and localization, we collect a large-scale database that contains numerous types of facial forgeries. With this dataset, we perform a thorough analysis of data-driven fake face detection. We show that the use of an attention mechanism improves facial forgery detection and manipulated region localization.

研究动机与目标

• 解决在多种操纵类型下检测和定位数字人脸操纵日益增长的需求。
• 开发一种基于注意力的机制，突出信息区域并提高真实与被操纵人脸的二分类检测。
• 创建一个包含真实和被操纵人脸的大规模、多样化数据集（DFFD），以实现稳健的数据驱动分析。
• 评估注意力机制在已知与未知操纵方法上的检测准确性和定位质量的影响。

提出的方法

• 在CNN分类器中插入一个基于注意力的层，以产生一个注意力图（M_att），突出被操纵的区域。
• 实现两种注意力图生成方法：Manipulation Appearance Model (MAM) 和直接回归，使用基于PCA的基或端到端卷积神经网络。
• 使用组合损失 L = L_classifier + lambda * L_map 进行训练，其中 L_map 可以是有监督、弱监督或无监督。
• 在有像素级真实掩码的有监督 L_map、带部分或不确定掩码的弱监督，或仅有图像标签时的无监督学习。
• 使用 EER、AUC、低 FDR 下的 TDR 来评估检测，使用 PBCA、IoU、Cosine 相似性，以及新颖的 IINC 指标来评估定位。

实验结果

研究问题

• RQ1 注意力机制是否能够在跨越多种操纵类型的情况下同时提升检测准确性和操纵面部区域的定位？
• RQ2 对注意力图的有监督、弱监督和无监督训练如何影响检测与定位性能？
• RQ3 所提出的注意力方法是否能泛化到未见过的操纵类型与外部数据集？
• RQ4 不同的主干网络（如 XceptionNet、VGG16）对注意力层的有效性有何影响？

主要发现

方法	训练数据	UADFV	Celeb-DF
Two-stream	Private data	85.1	53.8
Meso4	Private data	84.3	54.8
MesoInception4		82.1	53.6
HeadPose	UADFV	89.0	54.6
FWA	UADFV	97.4	56.9
VA-MLP	Private data	70.2	55.0
VA-LogReg	Private data	54.0	55.1
Multi-task	FF	65.8	54.3
Xception-FF++	FF++	80.4	48.2
Xception	UADFV	96.8	52.2
Xception	UADFV, DFFD	97.5	67.6
Xception+Reg.	DFFD	84.2	64.4
Xception+Reg.	UADFV	98.4	57.1
Xception+Reg.	UADFV, DFFD	98.4	71.2

• 带有注意力的模型在基线之上，特别是在低假阳性率下的检测表现（如 TDR 0.01%）更优。
• 对注意力图的直接回归在低 FDR 检测上表现最好，而在弱监督或无监督设定下，MAM 提供优势。
• 注意力机制在身份欺骗、表情交换和属性操纵等假脸类型上持续提升检测性能。
• 在 Celeb-DF 上达到最先进的结果，在 UADFV 上具有竞争力的结果，前提是使用 Diverse Fake Face Dataset (DFFD) 进行训练。
• 作者提出 IINC，一种用于评估定位的鲁棒性度量，解决了 IoU 和 Cosine 相似度在操纵人脸图像上的局限性。