[论文解读] UnGANable: Defending Against GAN-based Face Manipulation

Zheng Li, Ning Yu+4 more|arXiv (Cornell University)|Oct 3, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

UnGANable 是首个针对基于 GAN 重建的面部操作的防御系统，提出通过生成‘隐形图像’在保持视觉可用性的同时降低 GAN 重建的准确性。它在两个基准数据集上的四种 GAN 模型中，优于现有的 Fawkes 和 13 种基线失真方法，展现出在自适应攻击下的强大有效性和鲁棒性。

ABSTRACT

Deepfakes pose severe threats of visual misinformation to our society. One representative deepfake application is face manipulation that modifies a victim's facial attributes in an image, e.g., changing her age or hair color. The state-of-the-art face manipulation techniques rely on Generative Adversarial Networks (GANs). In this paper, we propose the first defense system, namely UnGANable, against GAN-inversion-based face manipulation. In specific, UnGANable focuses on defending GAN inversion, an essential step for face manipulation. Its core technique is to search for alternative images (called cloaked images) around the original images (called target images) in image space. When posted online, these cloaked images can jeopardize the GAN inversion process. We consider two state-of-the-art inversion techniques including optimization-based inversion and hybrid inversion, and design five different defenses under five scenarios depending on the defender's background knowledge. Extensive experiments on four popular GAN models trained on two benchmark face datasets show that UnGANable achieves remarkable effectiveness and utility performance, and outperforms multiple baseline methods. We further investigate four adaptive adversaries to bypass UnGANable and show that some of them are slightly effective.

研究动机与目标

• 为应对 GAN 重建技术带来的面部属性（如年龄或发色）被未经授权编辑的日益增长的威胁。
• 开发一种针对关键第一步——GAN 重建——的防御机制，而非重建后的操作。
• 设计上下文感知的防御策略，以适应不同级别的防御者知识，包括白盒、灰盒和黑盒场景。
• 确保防御后的图像在视觉上与原始图像无法区分，同时降低重建性能。

提出的方法

• UnGANable 通过在图像空间中搜索保持视觉保真度但误导 GAN 重建的扰动，生成隐形图像。
• 基于防御者知识设计五种不同的隐形策略：两种用于基于优化的重建，三种用于混合重建。
• 隐形策略针对从完全知识（白盒）到无知识（黑盒）的五种场景进行定制，实现自适应防御设计。
• 利用基于优化和混合 GAN 重建技术作为威胁模型，以评估防御的鲁棒性。
• 在四个流行的 GAN 模型（如 StyleGAN2、StarGANv2）上评估防御效果，这些模型在两个基准人脸数据集（FFHQ、CelebA）上进行训练。
• 引入四种自适应攻击策略（包括空间平滑和增加重建迭代次数）进行对抗性评估，以测试系统的抗压能力。

实验结果

研究问题

• RQ1 能否生成在不损害视觉质量的前提下显著降低 GAN 重建性能的隐形图像？
• RQ2 防御者知识（白盒、灰盒、黑盒）如何影响隐形防御的设计与有效性？
• RQ3 与 Fawkes 和标准图像失真方法相比，UnGANable 在重建干扰能力和视觉可用性方面表现如何？
• RQ4 自适应攻击者在多大程度上能通过空间平滑或增加重建迭代次数绕过 UnGANable？
• RQ5 该防御在不同 GAN 架构和复杂度各异的数据集上是否依然有效？

主要发现

• UnGANable 在 FFHQ 和 CelebA 数据集上的四种 GAN 模型（如 StyleGAN2、StarGANv2 等）中显著降低了 GAN 重建性能，且在所有场景下均保持一致的有效性。
• 该防御在重建干扰能力和视觉可用性方面均优于 13 种基线图像失真方法和 Fawkes，尤其在混合重建设置中表现更优。
• Cloak v0/v2/v3（白盒和灰盒变体）的性能优于 Cloak v1/v4（黑盒），表明更高的防御者知识可提升防御效果。
• 空间平滑和增加重建迭代次数是唯一能略微绕过 UnGANable 的自适应攻击，表明其具备强大的抗性。
• 重新训练 GAN 编码器并未显著降低 UnGANable 的有效性，表明编码器增强并非攻击者可行的自适应策略。