[论文解读] UCF: Uncovering Common Features for Generalizable Deepfake Detection

Zhiyuan Yan, Yong Zhang+2 more|arXiv (Cornell University)|Apr 27, 2023

Digital Media Forensic Detection被引用 4

一句话总结

该论文提出了一种解耦框架UCF，可揭示多种深度伪造方法中共有的伪造特征，从而提升泛化能力。通过多任务学习、条件解码器和对比正则化，模型分离出与方法无关的特征，实现在未见数据集上的最先进性能，DFA数据集上AUC最高达94.5%，在基准测试中的平均AUC达到86.6%。

ABSTRACT

Deepfake detection remains a challenging task due to the difficulty of generalizing to new types of forgeries. This problem primarily stems from the overfitting of existing detection methods to forgery-irrelevant features and method-specific patterns. The latter has been rarely studied and not well addressed by previous works. This paper presents a novel approach to address the two types of overfitting issues by uncovering common forgery features. Specifically, we first propose a disentanglement framework that decomposes image information into three distinct components: forgery-irrelevant, method-specific forgery, and common forgery features. To ensure the decoupling of method-specific and common forgery features, a multi-task learning strategy is employed, including a multi-class classification that predicts the category of the forgery method and a binary classification that distinguishes the real from the fake. Additionally, a conditional decoder is designed to utilize forgery features as a condition along with forgery-irrelevant features to generate reconstructed images. Furthermore, a contrastive regularization technique is proposed to encourage the disentanglement of the common and specific forgery features. Ultimately, we only utilize the common forgery features for the purpose of generalizable deepfake detection. Extensive evaluations demonstrate that our framework can perform superior generalization than current state-of-the-art methods.

研究动机与目标

• 为解决深度伪造检测中因过拟合于与伪造无关的特征及方法特异性特征而导致的泛化问题。
• 将图像特征解耦为内容、方法特异性伪造和共有的伪造成分，以实现鲁棒检测。
• 开发一种即插即用的框架，提升在多种主干网络和未见伪造类型上的泛化能力。

提出的方法

• 一种多任务学习框架，联合执行二分类真实/伪造分类和多分类伪造方法分类，以分离内容与伪造特征。
• 一种条件解码器，利用内容和伪造特征作为条件来重建图像，确保特征解耦的忠实性。
• 一种对比正则化损失，明确鼓励方法特异性和共有的伪造特征之间的分离。
• 最终检测器仅使用共有的伪造特征，丢弃内容和方法特异性模式，以防止过拟合。
• 该框架兼容多种主干网络，包括Xception、ConvNeXt、ResNet和EfficientNet，展现出即插即用的能力。
• t-SNE可视化结果表明，共有的特征捕捉了不同方法间的共享伪造模式，而内容特征则对真实/伪造标签保持不变。

实验结果

研究问题

• RQ1 解耦框架能否有效分离与伪造无关的内容特征与方法特异性和共有的伪造特征？
• RQ2 仅隔离共有的伪造特征是否能提升在未见深度伪造数据集上的泛化性能？
• RQ3 所提出的对比正则化如何改善特定与共有的伪造模式之间的解耦？
• RQ4 该框架能否在多种主干网络架构上保持高性能？
• RQ5 条件解码器在多大程度上提升了特征解耦和重建保真度？

主要发现

• UCF框架在数据集上的平均AUC达到85.2%，显著优于基线Xception模型（平均AUC为68.3%）。
• 在DFD数据集上，该方法达到94.5%的AUC，表明其对未见伪造样本具有强大的泛化能力。
• 使用ConvNeXt主干网络时，平均AUC提升至86.6%，证实该框架在不同架构上的有效性。
• t-SNE可视化结果表明，共有的伪造特征捕捉了不同伪造方法间的共享模式，而内容特征对真实/伪造标签保持不变。
• 消融实验表明，仅使用共有的特征优于使用所有伪造特征，证明方法特异性模式会损害泛化性能。
• 该框架为即插即用，无需架构修改即可在ResNet和EfficientNet主干网络上提升检测性能。