[论文解读] PTW: Pivotal Tuning Watermarking for Pre-Trained Image Generators

Nils Lukas, Florian Kerschbaum|arXiv (Cornell University)|Apr 14, 2023

Advanced Steganography and Watermarking Techniques被引用 4

一句话总结

PTW 提出了一种基于关键微调的快速、无需数据的水印方法，用于预训练图像生成器，可在一小时内完成水印嵌入——比从零开始训练快三个数量级，同时支持更大规模的模型和更长的水印码。关键的是，它表明白盒攻击者可仅用极少数据移除水印，从而对水印技术在深度伪造检测中的鲁棒性构成挑战。

ABSTRACT

Deepfakes refer to content synthesized using deep generators, which, when misused, have the potential to erode trust in digital media. Synthesizing high-quality deepfakes requires access to large and complex generators only a few entities can train and provide. The threat is malicious users that exploit access to the provided model and generate harmful deepfakes without risking detection. Watermarking makes deepfakes detectable by embedding an identifiable code into the generator that is later extractable from its generated images. We propose Pivotal Tuning Watermarking (PTW), a method for watermarking pre-trained generators (i) three orders of magnitude faster than watermarking from scratch and (ii) without the need for any training data. We improve existing watermarking methods and scale to generators $4 imes$ larger than related work. PTW can embed longer codes than existing methods while better preserving the generator's image quality. We propose rigorous, game-based definitions for robustness and undetectability, and our study reveals that watermarking is not robust against an adaptive white-box attacker who controls the generator's parameters. We propose an adaptive attack that can successfully remove any watermarking with access to only 200 non-watermarked images. Our work challenges the trustworthiness of watermarking for deepfake detection when the parameters of a generator are available. The source code to reproduce our experiments is available at https://github.com/nilslukas/gan-watermark.

研究动机与目标

• 解决现有水印方法在预训练图像生成器上效率低下且可扩展性受限的问题，这些方法需要从零开始重新训练。
• 在无需访问训练数据的情况下，实现大规模生成器的水印嵌入，降低计算成本和时间开销。
• 通过在保持图像保真度的同时嵌入更长的码字，改善水印嵌入中的容量-质量权衡。
• 通过基于博弈的安全模型，正式定义并评估水印的鲁棒性（抗移除能力）和不可检测性（无密钥下无统计可区分性）。
• 研究在白盒对抗环境下水印的脆弱性，即攻击者可完全控制生成器参数。

提出的方法

• PTW 利用关键微调技术，仅优化模型参数的极小子集，高效地将水印嵌入预训练生成器，避免全量微调。
• 该方法使用密钥调制生成器特征空间中的特定层，在图像生成过程中将二进制码嵌入潜在空间。
• 水印提取通过依赖密钥的解码器完成，该解码器分析生成图像以恢复嵌入的码字。
• 该方法适用于任何将潜在码映射为图像的生成器，包括 StyleGAN 和潜在扩散模型。
• 提出一种自适应攻击方法——反向关键微调（RPT），通过仅使用200张非水印图像优化生成器参数，实现水印移除。
• 引入基于博弈的安全定义，形式化建模水印的鲁棒性（抗移除能力）与不可检测性（无密钥下无统计可区分性）。

Figure 1: A demonstration of our watermark and the impact of the number of embedded bits on the visual image quality. The top row shows the watermarked, synthetic image and the bottom row shows its difference to the same image without a watermark.

实验结果

研究问题

• RQ1 是否可以在不依赖任何训练数据的前提下，高效地将水印应用于预训练图像生成器？
• RQ2 水印性能如何随生成器规模扩展？是否能支持更长的嵌入码字？
• RQ3 水印是否能抵御具备生成器参数完全访问权限的自适应白盒攻击者？
• RQ4 攻击者成功移除水印所需的最少非水印图像数量是多少？
• RQ5 在强统计分析下，无密钥的对手是否仍无法检测到水印的存在？

主要发现

• PTW 将水印嵌入时间从超过一个月的GPU计算量缩短至一小时内，相比先前方法实现三个数量级的速度提升。
• 该方法成功将更长的水印嵌入至比先前工作支持的模型大四倍的生成器中，且图像质量退化可忽略不计。
• 在无密钥的情况下，水印不可检测，攻击者至少需要100张带标签的非水印图像和水印图像才能检测到水印的存在。
• 自适应白盒攻击者可仅用200张非水印图像（占原始训练数据的0.3%以下）成功移除任意水印，且对图像质量影响可忽略。
• 本研究揭示，现有水印方案在白盒威胁模型下不具备鲁棒性，当生成器参数暴露时，其在知识产权保护中的可行性受到质疑。
• 尽管水印对黑盒对手表现强劲，但当模型以白盒形式部署时，其无法有效阻止滥用行为，从而挑战了其在主动防范深度伪造中的作用。

Figure 2: Deepfake detection in a no-box setting by watermarking the generator.