[论文解读] PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation

Yingchaojie Feng, Xingbo Wang+6 more|arXiv (Cornell University)|Jul 18, 2023

Image Retrieval and Classification Techniques参考文献 74被引用 6

一句话总结

PromptMagician 是一个视觉分析系统，通过从 DiffusionDB 检索相似的图像-提示对，并采用基于 CLIP 的分层聚类方法推荐语义相关的关键词，支持文本到图像生成的交互式提示工程。该系统通过多层级可视化，使用户能够探索、评估并优化提示，显著提升了文本到图像生成中提示的有效性与创意支持能力。

ABSTRACT

Generative text-to-image models have gained great popularity among the public for their powerful capability to generate high-quality images based on natural language prompts. However, developing effective prompts for desired images can be challenging due to the complexity and ambiguity of natural language. This research proposes PromptMagician, a visual analysis system that helps users explore the image results and refine the input prompts. The backbone of our system is a prompt recommendation model that takes user prompts as input, retrieves similar prompt-image pairs from DiffusionDB, and identifies special (important and relevant) prompt keywords. To facilitate interactive prompt refinement, PromptMagician introduces a multi-level visualization for the cross-modal embedding of the retrieved images and recommended keywords, and supports users in specifying multiple criteria for personalized exploration. Two usage scenarios, a user study, and expert interviews demonstrate the effectiveness and usability of our system, suggesting it facilitates prompt engineering and improves the creativity support of the generative text-to-image model.

研究动机与目标

• 解决由于自然语言的模糊性和复杂性导致的文本到图像生成中提示创建无效的问题。
• 通过交互式可视化与推荐，支持新手和专家用户迭代优化提示和超参数。
• 利用跨模态嵌入和用户定义的评估标准，提供个性化的图像结果与提示关键词探索。
• 通过从大规模提示-图像语料库（DiffusionDB）中识别并推荐高影响力、相关性强的关键词，促进更优的提示工程。
• 通过关键词与对应图像聚类的联合可视化，帮助用户更深入理解提示与图像之间的关系。

提出的方法

• 利用 CLIP 嵌入编码从 DiffusionDB 检索到的图像，并根据语义相似性将它们分组为分层聚类。
• 对每个图像聚类应用聚类级别的 TF-IDF，从与该聚类相关的提示中识别出特殊（重要且相关）的提示关键词。
• 将推荐的关键词与最相关的图像聚类匹配，并在二维嵌入空间中将它们与聚类一同可视化，以支持交互式探索。
• 集成一个多视图界面，包含四个组件：模型输入视图、图像浏览器视图、图像评估视图和本地探索视图，以实现引导式优化。
• 支持用户自定义评估标准（例如“美观”、“高质量”），以筛选并聚焦于感兴趣的图像子集。
• 采用基于设计指南训练的提示推荐模型，优先关注关键词而非句子结构，以提升提示质量。

Figure 1 : The \name framework consists of four major components. It enables users to (A) specify model input for text-to-image creation. \name (B) generates a set of images using Stable Diffusion and (C) identifies related prompt keywords for recommendations. (D) Both the image results and prompt k

实验结果

研究问题

• RQ1 视觉分析系统如何通过交互式可视化与推荐，有效支持用户探索和优化文本到图像生成的提示？
• RQ2 基于 CLIP 的分层关键词推荐模型在多大程度上能够提升文本到图像生成的提示工程效果？
• RQ3 用户如何评价该系统在发现相关提示关键词和实现期望图像输出方面的可用性与有效性？
• RQ4 多准则图像评估与关键词及图像的联合可视化，能否增强用户对提示对生成结果影响的理解？
• RQ5 该系统如何在真实世界的创意工作流程中支持提示和超参数的迭代优化？

主要发现

• 该系统通过从大规模提示-图像语料库中推荐语义相关且具有高影响力的关键词，显著提升了提示工程效果。
• 用户研究与专家访谈证实，PromptMagician 提升了创意支持能力，使用户能更高效地发现有效的提示关键词。
• 多层级可视化界面使用户能够探索图像聚类及其相关关键词，从而更好地理解提示对图像生成的影响。
• 集成用户自定义评估标准（例如“美观”、“细节丰富”）可实现聚焦的探索与图像子集筛选，显著提升系统可用性。
• 在两个真实应用场景中，系统表现出优异的可用性与有效性，支持迭代优化与个性化探索。
• 基于分层聚类与 TF-IDF 的提示推荐模型在识别与用户意图和图像内容一致的关键词方面表现出高度相关性。

Figure 2 : The pipeline of the prompt recommendation model involves five steps: (A) retrieving similar images from the DiffusionDB dataset; (B) embedding them according to their semantics; (C) arranging them into hierarchical clusters; (D) mining special and related keywords from the prompts in the