[论文解读] Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models

Patrick Schramowski, Manuel Brack+2 more|arXiv (Cornell University)|Nov 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出安全潜在扩散（Safe Latent Diffusion, SLD），一种无需微调、无需分类器的新型方法，通过操控潜在空间来抑制文本到图像扩散模型中的不当生成。借助新颖的测试平台 Inappropriate Image Prompts（I2P），作者证明 SLD 能有效减轻不当内容（如裸露和暴力）的生成，同时保持图像质量与文本对齐性不受影响。

ABSTRACT

Text-conditioned image generation models have recently achieved astonishing results in image quality and text alignment and are consequently employed in a fast-growing number of applications. Since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer, as we demonstrate, from degenerated and biased human behavior. In turn, they may even reinforce such biases. To help combat these undesired side effects, we present safe latent diffusion (SLD). Specifically, to measure the inappropriate degeneration due to unfiltered and imbalanced training sets, we establish a novel image generation test bed-inappropriate image prompts (I2P)-containing dedicated, real-world image-to-text prompts covering concepts such as nudity and violence. As our exhaustive empirical evaluation demonstrates, the introduced SLD removes and suppresses inappropriate image parts during the diffusion process, with no additional training required and no adverse effect on overall image quality or text alignment.

研究动机与目标

• 解决在未经过滤的大规模数据集上训练的文本到图像扩散模型中出现的不当和偏见生成问题。
• 通过真实世界用户生成的提示，系统性地衡量类似 Stable Diffusion 等模型中退化和偏见行为的风险。
• 开发一种无需额外训练或外部分类器即可抑制有害内容的缓解策略。
• 通过专门设计的真实世界不当提示测试集，评估 AI 生成图像的伦理影响。
• 通过利用模型对不当性的内在知识，为扩散模型的安全、负责任部署提供一个框架。

提出的方法

• 提出安全潜在扩散（SLD），一种在扩散过程中修改潜在空间以抑制不当生成的方法。
• 采用一种新颖的测试平台，称为不当图像提示（Inappropriate Image Prompts, I2P），包含 4,703 个真实世界文本到图像提示，并由三个检测器标注了不当性评分。
• 利用模型在预训练期间学习到的内在不当性表征，无需微调或外部分类器。
• 应用潜在空间编辑技术，调整去噪动态以避免生成有害内容，同时保持语义对齐。
• 依赖模型权重中编码的既有道德规范和偏见知识，实现在不重新训练的情况下实现伦理干预。
• 通过 I2P 验证该方法，量化其在多样化真实世界提示中对不当内容的抑制效果。

Figure 1 : Mitigating inappropriate degeneration in diffusion models. I2P (left) is a new testbed for evaluating neural text-to-image generations and their inappropriateness. Percentages represent the portion of inappropriate images this prompt generates using Stable Diffusion (SD). SD may generate

实验结果

研究问题

• RQ1 预训练的文本到图像扩散模型（如 Stable Diffusion）在接收到看似中性或非显性文本提示时，会多大程度上生成不当内容？
• RQ2 无训练、无分类器的方法能否在不降低图像质量或文本对齐性的情况下，有效抑制扩散模型中的不当生成？
• RQ3 与基线模型相比，安全潜在扩散（SLD）在多样化真实世界提示集上抑制显性内容的有效性如何？
• RQ4 模型内部对不当性的知识是否足以实现伦理干预，从而无需依赖外部检测器或微调？
• RQ5 像 I2P 这样的标准化测试平台能否可靠地衡量和基准化扩散模型中不当退化风险？

主要发现

• I2P 测试平台显示，Stable Diffusion 在 4,703 个真实世界提示中生成了不当内容，包括部分提示并未明确提及暴力或裸露的情况。
• SLD 在无需额外训练或外部分类器的情况下，成功抑制了 I2P 基准中的不当图像生成。
• 该方法保持了高图像质量与强文本对齐性，未在生成保真度或语义准确性方面造成可测量的退化。
• SLD 在多样化不当性类别中表现出稳健的抑制效果，包括裸露、暴力和仇恨相关内容，经多个检测器验证。
• 该方法利用了模型预训练中已有的不当性知识，无需微调或外部模型组件即可有效实现。
• I2P 数据集已通过 Hugging Face 以 MIT 许可证公开，可供未来用于扩散模型安全性的基准测试。

Figure 2 : Grounded in reporting bias, one can observe ethnic biases in DMs (left). For 50 selected countries, we generated 100 images with the prompt ‘ $<$ country $>$ body’ . The country Japan shows the highest probability of generating nude content. SLD uses the strong hyper parameter set to coun