[论文解读] OGAN: Disrupting Deepfakes with an Adversarial Attack that Survives Training

Eran Segalis, Eran Galili|arXiv (Cornell University)|Jun 17, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 OGAN，一种训练抗性对抗攻击方法，通过双层优化框架注入时空畸变，破坏人脸交换深度伪造。该方法生成的对抗扰动即使在攻击样本被纳入目标模型训练数据的情况下仍能持续存在，其性能优于先前的畸变攻击（Distorting Attack）在类似场景下的表现。

ABSTRACT

Recent advances in autoencoders and generative models have given rise to effective video forgery methods, used for generating so-called "deepfakes". Mitigation research is mostly focused on post-factum deepfake detection and not on prevention. We complement these efforts by introducing a novel class of adversarial attacks---training-resistant attacks---which can disrupt face-swapping autoencoders whether or not its adversarial images have been included in the training set of said autoencoders. We propose the Oscillating GAN (OGAN) attack, a novel attack optimized to be training-resistant, which introduces spatial-temporal distortions to the output of face-swapping autoencoders. To implement OGAN, we construct a bilevel optimization problem, where we train a generator and a face-swapping model instance against each other. Specifically, we pair each input image with a target distortion, and feed them into a generator that produces an adversarial image. This image will exhibit the distortion when a face-swapping autoencoder is applied to it. We solve the optimization problem by training the generator and the face-swapping model simultaneously using an iterative process of alternating optimization. Next, we analyze the previously published Distorting Attack and show it is training-resistant, though it is outperformed by our suggested OGAN. Finally, we validate both attacks using a popular implementation of FaceSwap, and show that they transfer across different target models and target faces, including faces the adversarial attacks were not trained on. More broadly, these results demonstrate the existence of training-resistant adversarial attacks, potentially applicable to a wide range of domains.

研究动机与目标

• 解决现有深度伪造对抗攻击的局限性，即当对抗样本被纳入训练数据时攻击失效的问题。
• 开发一类新型对抗攻击——训练抗性攻击，无论对抗样本是否属于模型训练集，均保持有效性。
• 设计并评估一种新攻击方法 OGAN，专门针对对抗数据再训练的鲁棒性进行优化。
• 在多个面部交换模型和未见过的目标人脸样本上验证 OGAN 和先前的畸变攻击（Distorting Attack）的有效性。
• 展示在长时间训练下，深度伪造输出中畸变的可转移性与持久性。

提出的方法

• 将攻击建模为双层优化问题，其中生成器与人脸交换自编码器相互对抗训练。
• 训练生成器以生成对抗图像，当经由人脸交换模型处理时，会在输出中产生明显的时空畸变。
• 采用交替优化策略，迭代更新生成器与目标人脸交换模型，模拟真实世界的对抗动态。
• 为生成器引入损失函数，优先最大化对人脸交换模型输出的破坏性畸变。
• 端到端地将攻击应用于主流人脸交换实现（如 FaceSwap），以评估其可转移性与鲁棒性。
• 通过深度伪造输出的时空畸变分数（$S_{tmp}$）和感知误差（$E_{tmp}$）衡量攻击成功程度

实验结果

研究问题

• RQ1 当目标深度伪造模型在使用攻击所用对抗样本的条件下进行再训练时，对抗攻击是否仍能保持有效性？
• RQ2 当对抗样本被纳入训练数据时，OGAN 攻击与先前的畸变攻击（Distorting Attack）在鲁棒性方面有何差异？
• RQ3 这些攻击在未在攻击训练期间见过的不同人脸交换模型和目标身份之间，其可转移性达到何种程度？
• RQ4 目标模型的长期训练如何影响对抗攻击所引入畸变的持久性？
• RQ5 训练抗性对抗攻击能否推广至人脸交换自编码器以外的其他生成模型？

主要发现

• 即使在对抗数据上训练 500,000 次迭代后，OGAN 仍保持较高的时空畸变分数（$S_{tmp} = 0.054$），展现出强大的训练抗性。
• 畸变攻击（Distorting Attack）也表现出训练抗性，在对抗数据上训练 500,000 次迭代后达到 $S_{tmp} = 0.021$，但性能仍逊于 OGAN。
• 当对抗样本未被纳入训练时，OGAN 仍能取得显著的 $S_{tmp}$ 分数，表明其在无训练特异性优化下仍具残余有效性。
• OGAN 与畸变攻击均成功迁移至未见过的目标人脸及不同的人脸交换模型（包括 dfl-h128、dfl-sae 和 realface）。
• $S_{tmp}$ 分数在约 300,000 次训练迭代后趋于稳定，表明模型收敛且持续受到干扰，即使经过长时间训练。
• 视觉分析确认，畸变表现为深度伪造视频中明显的振荡现象，使篡改行为可被肉眼察觉。