[论文解读] Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

Liang Chen, Yong Zhang+3 more|arXiv (Cornell University)|Mar 23, 2022

Digital Media Forensic Detection被引用 14

一句话总结

本文提出一种用于深度伪造检测的自监督对抗增强框架，通过动态生成多样化、具有挑战性的伪造图像，并训练检测器预测伪造配置（区域、混合类型、比例），从而提升模型的泛化能力。该方法在多个未见数据集上实现了最先进性能，通过对抗增强和自监督任务显著优于现有基线方法。

ABSTRACT

Recent studies in deepfake detection have yielded promising results when the training and testing face forgeries are from the same dataset. However, the problem remains challenging when one tries to generalize the detector to forgeries created by unseen methods in the training dataset. This work addresses the generalizable deepfake detection from a simple principle: a generalizable representation should be sensitive to diverse types of forgeries. Following this principle, we propose to enrich the "diversity" of forgeries by synthesizing augmented forgeries with a pool of forgery configurations and strengthen the "sensitivity" to the forgeries by enforcing the model to predict the forgery configurations. To effectively explore the large forgery augmentation space, we further propose to use the adversarial training strategy to dynamically synthesize the most challenging forgeries to the current model. Through extensive experiments, we show that the proposed strategies are surprisingly effective (see Figure 1), and they could achieve superior performance than the current state-of-the-art methods. Code is available at \url{https://github.com/liangchen527/SLADD}.

研究动机与目标

• 解决深度伪造检测器在测试不同数据集或方法生成的未见伪造图像时泛化能力差的挑战。
• 克服现有数据增强策略依赖固定、经验设计操作且多样性有限的局限性。
• 通过自监督配置预测任务，强制检测器对多样化伪造类型保持敏感，提升鲁棒性。
• 开发一种动态、对抗性的训练策略，生成当前检测器最难以应对的伪造图像，从而增强表征学习能力。

提出的方法

• 使用合成网络通过从多样化池中随机采样伪造配置（区域、混合类型、混合比例）来生成对抗性伪造图像。
• 训练检测器执行二分类（真实/伪造）任务，同时预测伪造配置，引入三项自监督任务：区域掩码估计、混合类型预测和混合比例回归。
• 采用对抗性训练策略，根据检测器性能迭代更新合成网络，确保生成更具挑战性的伪造图像。
• 结合多任务学习，采用联合损失函数，整合主分类损失与辅助自监督损失以实现配置预测。
• 使用基于GAN的生成器合成高保真伪造图像，通过可学习参数控制配置，实现多样化且逼真的增强。
• 在FaceForensics++数据集上进行训练，并在未见基准（包括CelebDF、DFDC和DF1.0）上进行评估。

实验结果

研究问题

• RQ1 能否通过动态生成具有挑战性的伪造图像的对抗性数据增强，提升深度伪造检测器在未见数据集和方法上的泛化能力？
• RQ2 自监督配置预测（伪造区域、混合类型、混合比例）在提升检测器鲁棒性和特征泛化能力方面的有效性如何？
• RQ3 对抗性训练数据增强是否优于固定、经验设计的增强方法？
• RQ4 与仅依赖二分类损失相比，自监督辅助任务对检测器性能的贡献程度如何？
• RQ5 基于合成器的对抗性增强策略能否减少检测器偏差，并提升对未见伪造图像的零样本泛化能力？

主要发现

• 在未见数据集上测试时，该方法相比基线Xception模型性能提升4%，展现出强大的泛化能力。
• 仅使用对抗性增强（Xception w/ adv）即相比基线实现显著的4%性能提升，凸显了动态、模型驱动数据增强的有效性。
• 将对抗性增强替换为随机图像操作导致性能显著下降，证明对抗性训练对方法成功至关重要。
• 若排除任意一项自监督任务（区域、类型、比例预测），性能均出现可测量的下降，证实其各自及协同贡献。
• 该方法优于依赖手工特征或固定增强的最先进检测器，尤其在CelebDF和DFDC等基准上表现更优。
• 消融实验表明，对抗性增强与多任务自监督学习的结合带来最佳泛化效果，完整模型在所有测试集上均达到最优准确率。