[论文解读] Representative Forgery Mining for Fake Face Detection

Chengrui Wang, Weihong Deng|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 10

一句话总结

本文提出代表伪造检测挖掘（Representative Forgery Mining, RFM），一种基于注意力机制的数据增强方法，通过引导卷积神经网络（CNN）检测器关注先前被忽略的代表性伪造区域，提升假人脸检测性能。通过生成伪造注意力图（Forgery Attention Map, FAM），并利用可疑伪造擦除（Suspicious Forgeries Erasing, SFE）遮蔽高敏感面部区域，RFM增强了检测器的泛化能力，在DFFD和Celeb-DF数据集上实现了最先进性能，且无需修改网络结构。

ABSTRACT

Although vanilla Convolutional Neural Network (CNN) based detectors can achieve satisfactory performance on fake face detection, we observe that the detectors tend to seek forgeries on a limited region of face, which reveals that the detectors is short of understanding of forgery. Therefore, we propose an attention-based data augmentation framework to guide detector refine and enlarge its attention. Specifically, our method tracks and occludes the Top-N sensitive facial regions, encouraging the detector to mine deeper into the regions ignored before for more representative forgery. Especially, our method is simple-to-use and can be easily integrated with various CNN models. Extensive experiments show that the detector trained with our method is capable to separately point out the representative forgery of fake faces generated by different manipulation techniques, and our method enables a vanilla CNN-based detector to achieve state-of-the-art performance without structure modification.

研究动机与目标

• 解决原始CNN检测器过度关注狭窄面部区域的局限性，避免遗漏更广泛、更具代表性的伪造区域。
• 通过优化训练数据，促使检测器关注不那么明显但具有代表性的伪造区域，从而提升检测器泛化能力。
• 在不修改网络结构或引入复杂监督的情况下，使原始CNN检测器实现最先进性能。
• 在无需标注伪造区域的前提下，可视化并挖掘针对不同伪造技术的代表性伪造区域。

提出的方法

• 利用基于梯度的显著性方法生成图像级别的伪造注意力图（FAM），识别对检测器最敏感的前N个面部区域。
• 应用可疑伪造擦除（SFE）技术遮蔽前N个高敏感区域，迫使检测器探索此前被忽略的面部区域。
• 在训练过程中迭代优化检测器，利用遮蔽后的数据，促进其关注更具代表性和判别性的伪造模式。
• 通过虚假人脸的平均FAM可视化并聚类每种伪造技术对应的代表性伪造区域。
• 可无缝集成至任意CNN模型，无需结构修改，实现即插即用的性能增强。
• 利用语义分割生成低伪造含量的虚假人脸，用于评估模型鲁棒性。

实验结果

研究问题

• RQ1 通过引导检测器关注未充分探索的面部区域进行数据增强，能否提升假人脸检测性能？
• RQ2 RFM是否能在无监督条件下，使检测器识别出多种伪造技术下的代表性伪造区域？
• RQ3 RFM在伪造内容极少的技术性伪造人脸上的检测性能有何影响？
• RQ4 RFM生成的平均FAM能否揭示与伪造技术类别相对应的聚类模式？
• RQ5 RFM在真实世界中伪造内容较少的虚假人脸上，对检测器鲁棒性的提升程度如何？

主要发现

• 与先前工作相比，RFM在DFFD数据集上将0.1%假阳性率（FPR）下的真阳性检测率（TDR）提升了6.16%，在0.01% FPR下提升了6.61%。
• 使用RFM训练的检测器在仅含少量技术性伪造的虚假人脸（如仅眼睛、鼻子、嘴巴或面部皮肤被修改）上保持显著更高的性能。
• 平均FAM可视化显示，RFM引导检测器聚焦于代表性伪造区域——双阶段伪造技术聚焦于面部边界，单阶段伪造技术则聚焦于整个皮肤区域。
• 相似伪造技术的FAM之间表现出高余弦相似度，表明RFM能够按技术家族对伪造模式实现有效聚类。
• 在4至256帧视频范围内计算的平均FAM显示，仅需4帧即可捕捉到具有判别性的伪造轮廓，完整细节在256帧时完全显现。
• 该方法使原始Xception架构检测器在DFFD和Celeb-DF两个基准上均实现最先进性能，且无需修改网络结构。