[论文解读] Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

Yuxin Wen, John Kirchenbauer+2 more|arXiv (Cornell University)|May 31, 2023

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

引入 Tree-Ring Watermarking，通过初始噪声在傅里叶空间对扩散采样过程进行静默指纹嵌入，从而实现不可见、鲁棒检测且不修改图像。通过反向扩散恢复噪声并验证嵌入的密钥，在常见变换下仍可检测。

ABSTRACT

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at https://github.com/YuxinWenRick/tree-ring-watermark.

研究动机与目标

• 说明对扩散生成内容进行水印的必要性以遏制滥用并实现溯源。
• 提出一种无需训练的水印方法，通过微妙地改变扩散输出分布而非编辑图像来实现水印。
• 开发一种基于反转扩散过程以恢复初始噪声并检查傅里叶空间密钥的鲁棒检测机制。
• 证明与任意扩散模型的兼容性并评估对常见变换的鲁棒性，尽量减小质量损失。

提出的方法

• 在初始扩散噪声 x_T 的傅里叶变换中嵌入二进制密钥模式，使用圆形掩模 M 将低频分量放置为水印密钥。
• 使用 DDIM 反演从带水印的图像 x_0' 中恢复近似的初始噪声 x_T'，然后在 M 内检查 F(x_T') 以检测密钥。
• 定义统计检验：计算 eta = (1/sigma^2) sum_{i in M} |k_i^* - y_i|^2，其中 y = F(x_T')，在 H0 下假设 y ~ N(0, sigma^2 I_C)，若非中心卡方分布的累积分布函数给出一个小的 p 值即判定为水印。
• 给出三种关键密钥类型：Tree-Ring_Zeros（圆形掩模为零）、Tree-Ring_Rand（高斯密钥）、Tree-Ring_Rings（等值的环）。
• 将检测阈值 tau 进行标定以控制误报率，并在攻击与参数消融（半径 r、步数、引导尺度）下分析鲁棒性。
• 在 Stable Diffusion v2 和一个 256x256 的 ImageNet 扩散模型上进行评估，与基线 DwtDct、DwtDctSvd 和 RivaGAN 进行比较。

实验结果

研究问题

• RQ1 扩散模型输出是否能够在不进行事后编辑图像的情况下，通过改变采样分布来实现水印？
• RQ2 傅里叶空间的噪声密钥对常见图像变换（旋转、裁剪、膨胀等）有多鲁棒？
• RQ3 在不同水印模式与生成/检测配置下，检测信号强度和误报行为是多少？
• RQ4 这些水印在保持图像保真度（FID/CLIP）的同时，是否实现了可靠检测？

主要发现

• Tree-Ring 水印在 Rings 与 Rand 变体下，在干净与对抗性设置中几乎达到可检出性极高的水平（AUC/TPR@1%FPR 常为 1.000）。
• 与基线相比，带水印的图像在 FID 与 CLIP 分数上几乎无降辨，并在变换下提供了鲁棒检测。
• 在对抗性增强下，Rings 模式提供了最佳的平均鲁棒性，Rand 与 Zeros 在许多场景下也表现出强鲁棒性。
• 检测在不同的生成/检测步数下仍然有效，较高的引导尺度并不消除可检测性。
• 与事后基线（DwtDct、DwtDctSvd）和基于 GAN 的水印（RivaGAN）相比，Tree-Ring 变体具有更好的鲁棒性且为无训练，且在样本级上真正看不见。
• 基于 p 值的标定检测器提供可解释的证据，并可控的误报率。