[论文解读] To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now

Yimeng Zhang, Jinghan Jia+6 more|arXiv (Cornell University)|Oct 18, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出 UnlearnDiff，一种新颖的对抗性提示方法，利用扩散模型固有的分类能力，生成可绕过安全驱动型去学习机制的对抗性提示。实验表明，即使是最先进的去学习扩散模型仍对这类攻击高度脆弱，UnlearnDiff 在去学习裸露内容任务中最高实现 90.27% 的攻击成功率，暴露出当前安全防御机制在鲁棒性方面的关键缺陷。

ABSTRACT

The recent advances in diffusion models (DMs) have revolutionized the generation of realistic and complex images. However, these models also introduce potential safety hazards, such as producing harmful content and infringing data copyrights. Despite the development of safety-driven unlearning techniques to counteract these challenges, doubts about their efficacy persist. To tackle this issue, we introduce an evaluation framework that leverages adversarial prompts to discern the trustworthiness of these safety-driven DMs after they have undergone the process of unlearning harmful concepts. Specifically, we investigated the adversarial robustness of DMs, assessed by adversarial prompts, when eliminating unwanted concepts, styles, and objects. We develop an effective and efficient adversarial prompt generation approach for DMs, termed UnlearnDiffAtk. This method capitalizes on the intrinsic classification abilities of DMs to simplify the creation of adversarial prompts, thereby eliminating the need for auxiliary classification or diffusion models. Through extensive benchmarking, we evaluate the robustness of widely-used safety-driven unlearned DMs (i.e., DMs after unlearning undesirable concepts, styles, or objects) across a variety of tasks. Our results demonstrate the effectiveness and efficiency merits of UnlearnDiffAtk over the state-of-the-art adversarial prompt generation method and reveal the lack of robustness of current safetydriven unlearning techniques when applied to DMs. Codes are available at https://github.com/OPTML-Group/Diffusion-MU-Attack. WARNING: There exist AI generations that may be offensive in nature.

研究动机与目标

• 评估安全驱动型去学习扩散模型在对抗性提示下的鲁棒性。
• 解决文本到图像扩散模型中去学习鲁棒性缺乏系统性评估框架的问题。
• 开发一种方法，通过利用扩散模型自身的分类能力，简化对抗性提示的生成。
• 在多个去学习任务和模型变体上基准化去学习机制的有效性。

提出的方法

• UnlearnDiff 利用扩散模型内部的分类头来引导对抗性提示的生成，其方式与图像分类中的对抗攻击类似。
• 它将攻击形式化为文本嵌入空间中的优化问题，使用损失函数最大化在扰动提示下生成不安全图像的可能性。
• 该方法避免依赖外部模型或额外训练，因此高效且可直接应用于任何具备分类头的文本到图像扩散模型。
• 它采用基于梯度的迭代优化，生成能微妙规避去学习机制但保持语义一致性的对抗性提示。
• 该方法在多个去学习任务上进行了评估，包括裸露内容、暴力内容和受版权保护的风格，使用了多种基于 SD 的模型。
• 在不同 Stable Diffusion 版本之间测试了迁移能力，证明了该攻击即使在模型架构和数据分布发生变化的情况下仍具备良好的泛化能力。

(a) W/ auxiliary DM

实验结果

研究问题

• RQ1 对抗性提示能否有效绕过扩散模型中的安全驱动型去学习机制？
• RQ2 当前的去学习扩散模型对能规避去学习的细微、优化后的文本扰动有多强的鲁棒性？
• RQ3 通过模型自身分类能力生成的对抗性提示在多大程度上能实现高攻击成功率？
• RQ4 攻击性能在不同扩散模型版本和去学习任务之间如何变化？
• RQ5 随机提示或随机噪声种子扰动是否也能绕过去学习机制，表明模型存在固有脆弱性？

主要发现

• UnlearnDiff 在基于 Stable Diffusion v1.4 微调的 ESD 模型上对裸露内容去学习任务实现了 90.27% 的攻击成功率，显著优于先前方法如 P4D。
• 即使从基于 v1.4 的受害者模型转移到 v2.1 目标模型，该攻击仍保持高效率（54.87% ASR），证明了其强大的泛化能力。
• 随机文本提示攻击的准确率为 57.75%，随机噪声种子攻击达到 14.01%，表明即使非优化、随机性的扰动也足以使去学习机制失效。
• 在目标为 SD v2.0 时，攻击性能有所下降，可能是因为其具有更激进的 NSFW 过滤机制，但攻击成功率仍达 42.48%，表明过滤机制并未完全消除漏洞。
• 在过滤数据集上训练的去学习扩散模型仍无法稳健地去学习不安全概念，揭示了当前“安全优先”设计方法的根本缺陷。
• 本研究揭示，当前的安全驱动型去学习仍显不足，因为即使细微的对抗性提示也能可靠生成不安全输出，严重挑战了这些模型的可信度。

(b) W/ classifier