[论文解读] Targeted Attack Improves Protection against Unauthorized Diffusion Customization

Boyang Zheng, Chumeng Liang+1 more|arXiv (Cornell University)|Oct 7, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出改进的定向攻击（Improved Targeted Attack, ITA），一种针对潜在扩散模型（Latent Diffusion Models, LDMs）的内存高效对抗攻击，显著提升了对先进少样本生成方法（如LoRA和SDEdit）的有效性。通过引入一种新型定向目标函数及三种内存节省机制，ITA将GPU显存使用量降低至6GB以下，使其可在消费级硬件上部署，同时保持对常见去噪防御机制的强鲁棒性。

ABSTRACT

Diffusion models build a new milestone for image generation yet raising public concerns, for they can be fine-tuned on unauthorized images for customization. Protection based on adversarial attacks rises to encounter this unauthorized diffusion customization, by adding protective watermarks to images and poisoning diffusion models. However, current protection, leveraging untargeted attacks, does not appear to be effective enough. In this paper, we propose a simple yet effective improvement for the protection against unauthorized diffusion customization by introducing targeted attacks. We show that by carefully selecting the target, targeted attacks significantly outperform untargeted attacks in poisoning diffusion models and degrading the customization image quality. Extensive experiments validate the superiority of our method on two mainstream customization methods of diffusion models, compared to existing protections. To explain the surprising success of targeted attacks, we delve into the mechanism of attack-based protections and propose a hypothesis based on our observation, which enhances the comprehension of attack-based protections. To the best of our knowledge, we are the first to both reveal the vulnerability of diffusion models to targeted attacks and leverage targeted attacks to enhance protection against unauthorized diffusion customization. Our code is available on GitHub: https://github.com/psyker-team/mist-v2.

研究动机与目标

• 解决现有对抗攻击在现代基于LDM的少样本生成流水线（如LoRA和SDEdit）中效果有限的问题。
• 降低当前攻击的高GPU显存消耗，避免其仅限于高端硬件用户使用。
• 为面临未经授权LDM驱动图像生成带来的版权与隐私风险的个人开发实用的防御工具。
• 确保攻击对常见基于去噪的对抗防御（如JPEG压缩与图像缩放）具有鲁棒性。
• 实现在真实场景中模型访问受限时的黑盒适用性。

提出的方法

• 攻击采用一种新型定向目标函数，通过优化扰动以最大化在少样本图像生成中的失败率，特别针对参考图像的特征空间进行优化。
• 通过梯度检查点技术、混合精度推理和选择性激活存储实现内存效率，将GPU显存消耗降低至6GB以下。
• 在LDM的潜在空间中施加扰动，保持扰动的不可察觉性，同时最大化对扩散过程的干扰。
• 在多个主干模型（如Stable Diffusion、SDXL）和受害者模型（SDEdit、LoRA）上进行评估，证明了其强大的跨模型迁移能力。
• 针对包括高斯噪声、JPEG压缩、缩放（2倍与0.5倍）和超分辨率在内的去噪防御手段进行鲁棒性测试，生成结果的质量持续下降。
• 在4/255的扰动预算下应用攻击，并使用MS-SSIM、CLIP-SIM和CLIPIQA指标量化生成质量的退化程度。

实验结果

研究问题

• RQ1 与现有方法相比，定向对抗攻击是否能在基于LDM的少样本生成中实现显著更高的失败率？
• RQ2 内存高效技术在不牺牲有效性的前提下，能在多大程度上降低LDM对抗攻击的GPU显存使用量？
• RQ3 所提出的攻击对常见基于去噪的防御手段（如净化对抗样本）具有多强的鲁棒性？
• RQ4 该攻击是否在不同LDM主干模型和受害者模型上均保持强性能，表明其具备跨模型迁移能力？
• RQ5 在仅能访问受害者模型输入与输出的黑盒场景中，该攻击是否能有效部署？

主要发现

• 在8/255的扰动预算下，ITA在LoRA上获得CLIPIQA得分为39.63，在SDEdit上为0.45，表明对抗扰动后图像质量严重退化。
• 该攻击在多个受害者模型（包括SDEdit和LoRA）上均保持强性能，MS-SSIM得分低于0.5，CLIP-SIM得分低于0.1，表明内容迁移被有效破坏。
• 即使在应用高斯噪声（σ=8）、JPEG压缩（Q=20,70）、缩放（2倍与0.5倍）和超分辨率后，ITA仍持续降低输出质量，CLIPIQA得分保持低位。
• 该攻击在去噪防御下依然有效，尤其对高质量JPEG压缩和缩放具有强抵抗能力，而这些技术在真实图像处理流水线中十分常见。
• 通过梯度检查点、混合精度推理和选择性激活存储，显存使用量降低至6GB以下，使攻击可在消费级GPU上部署。
• 可视化与定量结果共同表明，ITA生成的对抗样本在SDEdit和LoRA流水线中均无法生成有意义的输出，即使在防御措施启用时亦然。