[论文解读] Prompt Stealing Attacks Against Text-to-Image Generation Models

Xinyue Shen, Yiting Qu+2 more|arXiv (Cornell University)|Feb 20, 2023

Sexuality, Behavior, and Technology被引用 8

一句话总结

论文提出 PromptStealer，一种基于学习的文本到图像模型提示窃取攻击，在 Lexica-Dataset 上的评估中在语义、修饰符和图像相似性方面优于基线且速度更快，并提出防御方法 PromptShield。

ABSTRACT

Text-to-Image generation models have revolutionized the artwork design process and enabled anyone to create high-quality images by entering text descriptions called prompts. Creating a high-quality prompt that consists of a subject and several modifiers can be time-consuming and costly. In consequence, a trend of trading high-quality prompts on specialized marketplaces has emerged. In this paper, we perform the first study on understanding the threat of a novel attack, namely prompt stealing attack, which aims to steal prompts from generated images by text-to-image generation models. Successful prompt stealing attacks directly violate the intellectual property of prompt engineers and jeopardize the business model of prompt marketplaces. We first perform a systematic analysis on a dataset collected by ourselves and show that a successful prompt stealing attack should consider a prompt's subject as well as its modifiers. Based on this observation, we propose a simple yet effective prompt stealing attack, PromptStealer. It consists of two modules: a subject generator trained to infer the subject and a modifier detector for identifying the modifiers within the generated image. Experimental results demonstrate that PromptStealer is superior over three baseline methods, both quantitatively and qualitatively. We also make some initial attempts to defend PromptStealer. In general, our study uncovers a new attack vector within the ecosystem established by the popular text-to-image generation models. We hope our results can contribute to understanding and mitigating this emerging threat.

研究动机与目标

• 证明从文本到图像模型生成的图像中可以窃取提示（主体+修饰符）。
• 创建 Lexica-Dataset 以分析提示组件及其对图像生成的影响。
• 开发 PromptStealer，将图像描述与多标签分类结合以恢复提示。
• 在语义、修饰符、图像相似性与效率方面评估 PromptStealer 相对于基线的表现。
• 提出初步防御（PromptShield）并讨论其局限性。

提出的方法

• 通过从 Lexica 收集 250,000 对提示-图像对并去重到 61,467 对，构建 Lexica-Dataset。
• 分析提示结构，表明主体与修饰符均影响生成图像，并将修饰符分类为若干类别。
• 开发 PromptStealer，包含两部分：基于 BLIP 的图像描述来生成提示主体，以及基于 ML-Decoder 的多标签分类器来预测修饰符；将主体与修饰符拼接成被窃取的提示。
• 针对两种基线（仅图像描述和 CLIP Interrogator）在语义相似度、修饰符相似度、图像相似性与效率指标上对 PromptStealer 进行评估。
• 展示高效性（PromptStealer 约 0.01s/提示）与更高的性能（如语义相似度 0.66、修饰符相似度 0.43、图像相似度 0.79），并探讨迁移性与消融实验。

Figure 1 : An image generated by Stable Diffusion [ 40 ] . The corresponding prompt is “cozy enchanted treehouse in ancient forest, diffuse lighting, fantasy, intricate, elegant, highly detailed, lifelike, photorealistic, digital painting, artstation, illustration, concept art, smooth, sharp focus,

实验结果

研究问题

• RQ1 攻击者是否能从生成的图像窃取目标提示，捕获其主体与修饰符？
• RQ2 主体与修饰符如何共同影响生成图像的质量与攻击效果？
• RQ3 学习型方法在精度与速度上相比现有工具（描述、CLIP Interrogator）有何差异？
• RQ4 在不显著影响合法使用的前提下，哪些防御措施能缓解提示窃取？
• RQ5 窃取的提示在相似图像或相似提示之间的可迁移性如何？

主要发现

• PromptStealer 在语义相似度（0.66 vs 0.52）、修饰符相似度（0.43 vs 0.01）和图像相似度（0.79 vs 0.77）方面优于两种基线。
• 单独的图像描述基线仅产生较低的语义相似度（0.19），且无法产生修饰符，凸显恢复修饰符的必要性。
• PromptStealer 极具高效性，在 NVIDIA DGX-A100 服务器上约每提示 0.01 秒，而 CLIP Interrogator 需 7.89 秒。
• 该方法使用 BLIP 进行主体提取，ML-Decoder 进行多标签修饰符预测，从而实现主体与修饰符的联合推断。
• PromptStealer 展现出迁移性，当替换主体时可生成相似图像，表明对同类提示具有较强的跨提示适用性。
• 初步防御（PromptShield）通过对抗性扰动可以缓解提示窃取，但依赖于强假设且易受自适应攻击。

(a)