[论文解读] Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder

Mengnan Du, Shiva Pentyala+2 more|arXiv (Cornell University)|Sep 13, 2019

Digital Media Forensic Detection参考文献 39被引用 13

一句话总结

本文提出了一种局部感知自编码器（LAE），一种通过在训练过程中施加像素级掩码正则化，强制模型聚焦于伪造区域以增强泛化能力的深度伪造检测方法。通过引入主动学习以降低标注成本，LAE在未见过的深度伪造篡改上相比最先进方法分别提升了6.52%、12.03%和3.08%的检测准确率。

ABSTRACT

With advancements of deep learning techniques, it is now possible to generate super-realistic images and videos, i.e., deepfakes. These deepfakes could reach mass audience and result in adverse impacts on our society. Although lots of efforts have been devoted to detect deepfakes, their performance drops significantly on previously unseen but related manipulations and the detection generalization capability remains a problem. Motivated by the fine-grained nature and spatial locality characteristics of deepfakes, we propose Locality-Aware AutoEncoder (LAE) to bridge the generalization gap. In the training process, we use a pixel-wise mask to regularize local interpretation of LAE to enforce the model to learn intrinsic representation from the forgery region, instead of capturing artifacts in the training set and learning superficial correlations to perform detection. We further propose an active learning framework to select the challenging candidates for labeling, which requires human masks for less than 3% of the training data, dramatically reducing the annotation efforts to regularize interpretations. Experimental results on three deepfake detection tasks indicate that LAE could focus on the forgery regions to make decisions. The analysis further shows that LAE outperforms the state-of-the-arts by 6.52%, 12.03%, and 3.08% respectively on three deepfake detection tasks in terms of generalization accuracy on previously unseen manipulations.

研究动机与目标

• 解决深度伪造检测中的关键泛化差距问题，即尽管在保留测试集上表现优异，但模型在之前未见过的篡改类型上表现不佳。
• 通过强制模型关注实际伪造区域，克服现有模型依赖表面痕迹或非伪造区域的倾向。
• 通过引入仅需少于训练数据3%的标注样本的主动学习框架，降低伪造掩码的人工标注负担。
• 通过集成CAM（类别激活映射）实现局部可解释性，引导学习聚焦于内在伪造模式，提升模型可解释性。
• 开发一种方法，能够在无需在训练中使用未见伪造类型数据的情况下，泛化于多种基于GAN的篡改方法。

提出的方法

• 提出一种局部感知自编码器（LAE），采用瓶颈编码器-解码器架构重建输入图像，重点学习来自局部伪造区域的表征。
• 在训练过程中引入像素级掩码正则化，显式引导模型关注伪造区域，同时抑制非伪造特征。
• 使用CAM（类别激活映射）作为可微分的解释方法，可视化并监督模型对伪造区域的关注，实现端到端的反向传播训练。
• 设计一种主动学习框架，选择最不确定和最具挑战性的样本进行人工标注，将全监督需求降低至训练数据的3%以下。
• 通过重建损失和分类损失的联合训练，端到端训练LAE模型，掩码正则化确保模型学习到内在伪造特征。
• 利用CAM的可解释性验证模型预测基于实际伪造区域，而非虚假相关性或人工痕迹。

实验结果

研究问题

• RQ1 通过聚焦于局部伪造区域，能否使深度伪造检测模型对未见过的篡改类型具备更强的泛化能力？
• RQ2 像素级掩码正则化在引导模型学习内在伪造表征而非表面痕迹方面有多有效？
• RQ3 主动学习在多大程度上能降低伪造掩码的标注成本，同时保持高检测性能？
• RQ4 通过CAM强制实现局部可解释性，是否能提升模型在多种基于GAN的深度伪造生成方法上的鲁棒性和泛化能力？
• RQ5 具有局部注意力机制的自监督自编码器是否能在未见过的篡改上超越现有最先进深度伪造检测模型？

主要发现

• LAE显著提升了泛化性能，在三种不同深度伪造检测任务中，对未见过的篡改类型评估时，相比最先进方法分别提升了6.52%、12.03%和3.08%。
• 通过CAM生成的显著性图一致显示模型预测聚焦于伪造区域，表明LAE学习到了有意义的局部化表征。
• 主动学习框架将人工标注伪造掩码的需求降低至训练数据的3%以下，大幅减少了标注工作量。
• LAE在未见过的伪造样本上实现了高检测准确率，而基线模型性能下降至接近随机水平（约50%），展现出强大鲁棒性。
• 通过可解释性分析，实证验证了模型依赖于伪造区域而非非伪造痕迹或数据集特异性偏差。
• 尽管性能有所提升，测试集与其它未见数据集之间仍存在较小的泛化差距，表明通过迁移学习或多域适应仍有进一步优化空间。