[论文解读] Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation

Zhengyue Zhao, Jinhao Duan+7 more|arXiv (Cornell University)|Jun 2, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

该论文提出 Unlearnable Diffusion Perturbation (UDP) 与 Enhanced UDP (EUDP)，为图像添加难以察觉的噪声，使其无法用于训练高质量的扩散模型；该方法以双层最大-最小优化形式建立，并在 DDPM 与 LDM 上验证。

ABSTRACT

Diffusion models have demonstrated remarkable performance in image generation tasks, paving the way for powerful AIGC applications. However, these widely-used generative models can also raise security and privacy concerns, such as copyright infringement, and sensitive data leakage. To tackle these issues, we propose a method, Unlearnable Diffusion Perturbation, to safeguard images from unauthorized exploitation. Our approach involves designing an algorithm to generate sample-wise perturbation noise for each image to be protected. This imperceptible protective noise makes the data almost unlearnable for diffusion models, i.e., diffusion models trained or fine-tuned on the protected data cannot generate high-quality and diverse images related to the protected training data. Theoretically, we frame this as a max-min optimization problem and introduce EUDP, a noise scheduler-based method to enhance the effectiveness of the protective noise. We evaluate our methods on both Denoising Diffusion Probabilistic Model and Latent Diffusion Models, demonstrating that training diffusion models on the protected data lead to a significant reduction in the quality of the generated images. Especially, the experimental results on Stable Diffusion demonstrate that our method effectively safeguards images from being used to train Diffusion Models in various tasks, such as training specific objects and styles. This achievement holds significant importance in real-world scenarios, as it contributes to the protection of privacy and copyright against AI-generated content.

研究动机与目标

• 动机在于保护数据隐私与版权，防止未授权的扩散模型训练与微调。
• 提出一种对扩散模型的中毒攻击，创建不可学习的样本。
• 将保护设定为双层最大-最小优化，噪声受限以不可察觉。
• 在 DDPM 与潜在扩散模型上展示在无条件生成、文本到图像、风格迁移等任务中的有效性。

提出的方法

• 将保护噪声定义为添加到训练图像中的有界扰动。
• 建立双层最大-最小优化：在最小化扩散模型损失的前提下，最大化保护噪声。
• 推导 UDP，在训练过程中最大化交叉熵（通过 VLB/ELBO 近似）。
• 通过按与扩散时间表因子相关的分布对时间步 t 进行采样来加强保护，从而引入增强的 UDP（EUDP）。
• 提供模型参数与扰动的迭代更新规则（交替优化）。
• 可选地分析时间步的重要性和噪声衰减，以细化扰动策略。

实验结果

研究问题

• RQ1 不可察觉的保护噪声是否能阻止扩散模型从受保护数据中学习到高质量表征？
• RQ2 UDP 与 EUDP 在训练和微调过程中对 DDPM 与潜在扩散模型有何影响？
• RQ3 通过类别级保护保护特定对象或风格，是否会迁移至相关模型或在相关模型中仍然有效？

主要发现

• 在受保护数据上训练扩散模型时，UDP 显著降低生成图像的质量与多样性（例如 FID 提高、精度/召回降低）。
• 通过利用扩散时间步动态，EUDP 在生成图像质量方面进一步劣化，超越 UDP。
• 对部分数据或特定类别/风格的保护可以有效抑制这些受保护类别的高质量生成，同时对其他类别影响较小。
• 在 CIFAR-10 的 DDPM 实验以及 WikiArt/DreamBooth/Textual Inversion 的 LDM 实验中，保护噪声阻碍面向对象和风格的生成与迁移实验，且在相似模型间呈现一定鲁棒性。