[论文解读] Source Generator Attribution via Inversion

Michael Albright, Scott McCloskey|arXiv (Cornell University)|Jan 1, 2019

Digital Media Forensic Detection被引用 17

一句话总结

本文提出一种白盒方法，通过逆向生成过程将合成图像归因于其源生成对抗网络（GAN）。通过优化一个能够重建输入图像的潜在代码，该方法同时验证生成器的来源并恢复一个合理的潜在输入，从而实现对合成图像的精确来源归因。

ABSTRACT

With advances in Generative Adversarial Networks (GANs) leading to dramatically-improved synthetic images and video, there is an increased need for algorithms which extend traditional forensics to this new category of imagery. While GANs have been shown to be helpful in a number of computer vision applications, there are other problematic uses such as `deep fakes' which necessitate such forensics. Source camera attribution algorithms using various cues have addressed this need for imagery captured by a camera, but there are fewer options for synthetic imagery. We address the problem of attributing a synthetic image to a specific generator in a white box setting, by inverting the process of generation. This enables us to simultaneously determine whether the generator produced the image and recover an input which produces a close match to the synthetic image.

研究动机与目标

• 为应对 GAN 生成的合成图像来源识别日益严峻的挑战，特别是在深度伪造的背景下。
• 将传统图像取证技术拓展至合成图像领域，因为现有归因方法在此类场景中存在局限。
• 开发一种白盒解决方案，能够同时验证生成器来源并恢复与合成图像匹配的潜在输入。

提出的方法

• 该方法通过优化潜在代码以重建给定的合成图像，实现对 GAN 生成过程的逆向操作。
• 通过生成器的可微分前向传播计算潜在代码优化所需的梯度。
• 优化过程最小化生成图像与输入合成图像之间的重建损失。
• 该方法在白盒设置下运行，假设可完全访问生成器的架构和参数。
• 重建成功表明该生成器可能生成了该图像，从而实现来源归因。
• 恢复的潜在代码可作为生成器的指纹，实现对源模型的识别。

实验结果

研究问题

• RQ1 在白盒环境下，能否通过逆向 GAN 的生成过程可靠地将合成图像归因于其源生成器？
• RQ2 潜在代码在多大程度上可被恢复，使得生成图像与输入合成图像相匹配？
• RQ3 生成过程的可逆性是否能够在不同 GAN 架构上实现可靠的来源归因？

主要发现

• 该方法成功恢复了一个潜在代码，其生成的合成图像与输入图像高度匹配，表现出极高的重建保真度。
• 逆向过程可确认给定生成器是否可能生成该图像，从而以高置信度实现来源归因。
• 恢复的潜在代码充当唯一标识符，可实现对所用特定生成器的识别。
• 该方法在白盒环境下表现有效，即在可完全访问生成器模型的前提下。
• 该方法同时验证了生成器来源并重建了合理的输入，通过一次优化实现双重目标。