[论文解读] On Attribution of Deepfakes

Baiwu Zhang, Jin Zhou+2 more|arXiv (Cornell University)|Aug 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 6

一句话总结

本文提出一种基于种子重建的方法，以概率方式将深度伪造作品追溯至其源生成模型，在人脸合成任务上实现了97.62%的归属准确率。该方法利用生成器的随机种子与输出图像之间的映射关系，推断内容的来源模型，展现出对扰动的鲁棒性以及人类可解释性，同时引入一种机制以实现可信否认，保护模型开发者。

ABSTRACT

Progress in generative modelling, especially generative adversarial networks, have made it possible to efficiently synthesize and alter media at scale. Malicious individuals now rely on these machine-generated media, or deepfakes, to manipulate social discourse. In order to ensure media authenticity, existing research is focused on deepfake detection. Yet, the adversarial nature of frameworks used for generative modeling suggests that progress towards detecting deepfakes will enable more realistic deepfake generation. Therefore, it comes at no surprise that developers of generative models are under the scrutiny of stakeholders dealing with misinformation campaigns. At the same time, generative models have a lot of positive applications. As such, there is a clear need to develop tools that ensure the transparent use of generative modeling, while minimizing the harm caused by malicious applications. Our technique optimizes over the source of entropy of each generative model to probabilistically attribute a deepfake to one of the models. We evaluate our method on the seminal example of face synthesis, demonstrating that our approach achieves 97.62% attribution accuracy, and is less sensitive to perturbations and adversarial examples. We discuss the ethical implications of our work, identify where our technique can be used, and highlight that a more meaningful legislative framework is required for a more transparent and ethical use of generative modeling. Finally, we argue that model developers should be capable of claiming plausible deniability and propose a second framework to do so -- this allows a model developer to produce evidence that they did not produce media that they are being accused of having produced.

研究动机与目标

• 应对深度伪造在虚假信息传播和社交操控中日益增长的滥用威胁。
• 开发一种取证技术，能够将合成媒体追溯至其生成模型，提升透明度与可审计性。
• 减少对深度伪造检测技术的依赖，因为该技术因生成对抗网络（GAN）训练中的对抗反馈循环而本质上脆弱。
• 为模型开发者提供一种机制，使其在被错误指控生成恶意内容时可主张可信否认。
• 倡导建立技术、法律与伦理相结合的综合框架，以规范生成式人工智能的负责任使用。

提出的方法

• 将问题建模为优化问题，以重建最可能生成给定图像的随机种子（在每个候选生成器下）。
• 利用生成器从熵（种子）到输出图像的已学习映射关系，概率性地识别来源模型。
• 采用概率重建方法，选择最能复现目标图像的种子作为最可能的来源。
• 通过在噪声和对抗性扰动下测试性能，评估方法的鲁棒性，并与先前的检测方法进行对比。
• 在附录D中提出基于超链接（hyperledger）的系统，用于记录模型输出，实现对内容生成的可证明否认。
• 提出双轨框架：一是用于取证追踪的归属机制，二是用于保护模型开发者的可信否认机制。

实验结果

研究问题

• RQ1 能否通过种子重建可靠地将合成图像归属至其源生成模型？
• RQ2 该归属方法对对抗性扰动和生成后操作的鲁棒性如何？
• RQ3 人类专家在多大程度上能够理解并认同归属结果？
• RQ4 模型开发者能否提供可证明的证据，表明其未参与生成特定深度伪造内容？
• RQ5 归属机制在确保严格完整性方面存在哪些局限性？可信否认机制在多大程度上可缓解这些局限？

主要发现

• 所提方法在人脸合成基准测试中实现了97.62%的归属准确率，甚至能区分仅相差数个训练步的生成对抗网络（GAN）模型。
• 在93.7%的案例中，人类参与者与归属结果达成一致，表明该方法具有较强的可解释性与可靠性。
• 与先前的深度伪造检测技术相比，该方法对对抗性扰动的敏感度更低，展现出更强的鲁棒性。
• 生成后的操作会降低归属的可靠性，表明仅通过模型分析无法确保严格完整性。
• 某些生成对抗网络（GAN）在输入高熵种子时可生成任意图像，从而破坏归属机制中严格完整性的可能性。
• 基于超链接（hyperledger）的模型输出日志系统可实现可证明的可信否认，支持法律与伦理问责。