[论文解读] Opal: Multimodal Image Generation for News Illustration

Vivian Liu, Han Qiao+1 more|arXiv (Cornell University)|Apr 19, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

Opal 是一个为新闻插图设计的多模态文本到图像生成系统，通过文章语气、关键词和艺术风格，引导用户进行结构化的提示工程。该系统利用 GPT-3 提供语义建议，并采用三阶段流程，使用户生成的可用插图数量达到无系统支持时的两倍，显著提升了协作创作工作流中的效率与创意产出。

ABSTRACT

Advances in multimodal AI have presented people with powerful ways to create images from text. Recent work has shown that text-to-image generations are able to represent a broad range of subjects and artistic styles. However, finding the right visual language for text prompts is difficult. In this paper, we address this challenge with Opal, a system that produces text-to-image generations for news illustration. Given an article, Opal guides users through a structured search for visual concepts and provides a pipeline allowing users to generate illustrations based on an article's tone, keywords, and related artistic styles. Our evaluation shows that Opal efficiently generates diverse sets of news illustrations, visual assets, and concept ideas. Users with Opal generated two times more usable results than users without. We discuss how structured exploration can help users better understand the capabilities of human AI co-creative systems.

研究动机与目标

• 为解决新闻插图中文本到图像生成结果不一致且不可预测的问题，引入一种结构化、引导式的工作流程。
• 通过利用大语言模型建议相关关键词、语气和艺术风格，减轻提示工程中的试错负担。
• 通过整合多模态 AI 与人工编辑判断，提升编辑图像生成的效率与质量。
• 评估基于 LLM 提供建议的结构化探索是否能提升用户在生成可用插图方面的表现。
• 探索生成式 AI 如何在协作创作的新闻设计过程中增强而非取代人类插画师。

提出的方法

• Opal 采用三阶段流程：(1) 使用 GPT-3 进行文章输入与关键词提取，(2) 通过自然语言处理进行语气与情感特征分析，(3) 利用语义搜索与 LLM 关联推荐艺术风格。
• 系统将 GPT-3 作为知识库，基于文章内容生成关键词、语气和风格建议，实现系统化的提示构建。
• 系统应用语义搜索，将文章概念映射到相关视觉概念与艺术风格，提升提示的相关性。
• 通过基于文本的界面支持用户生成图像画廊，结构化地探索主题、语气与风格。
• 该流程通过引导用户构建高质量、语义一致的提示，减少随机性并提升一致性。
• 通过用户研究对比使用与不使用 Opal 的表现，衡量图像生成效率与输出可用性。

Figure 1 . A screenshot of the Opal system, which helps users create news illustrations using a text-to-image generative AI model. The system here has generated a gallery of images for an article on ”climate change”. The participant is guided through the generation process with a structured pipeline

实验结果

研究问题

• RQ1 结构化、由 LLM 驱动的提示工程能否提升新闻插图中文本到图像生成的效率与质量？
• RQ2 在系统建议关键词、语气与艺术风格的支持下，用户在生成可用插图方面的表现如何？
• RQ3 大型语言模型（如 GPT-3）在用户付出极少努力的情况下，能在多大程度上提供接近人类基准质量的视觉概念建议？
• RQ4 Opal 如何在真实编辑场景中支持人类插画师与生成式 AI 之间的协作创作过程？
• RQ5 在图像生成中，基于文本的 AI 提示存在哪些局限性，特别是与传统基于图像或直接操作的工作流程相比？

主要发现

• 使用 Opal 的用户生成的可用插图数量是未使用系统的用户的两倍，显著提升了输出质量与效率。
• 结构化流程减少了提示工程所需的时间与认知负荷，使用户能够更快迭代并生成更多创意。
• LLM 生成的关键词、语气与风格建议在性能上接近人类基准，且显著降低了用户所需付出的努力。
• 参与者表示，Opal 的 AI 辅助建议增强了其创作过程，提供了有用的参考、灵感与设计素材。
• 尽管存在诸多优势，用户仍更偏好基于图像的提示与直接操作，表明当前纯文本界面设计仍存在不足。
• 研究证实，生成式 AI 应作为人类插画师的增强工具而非替代品，因为艺术判断与概念理解在整个过程中依然至关重要。

Figure 2 . Text-to-image generations that were successful with news illustrators during the co-design process. These generations captured design patterns discussed in the formative study, where subjects and styles were suggested based on keywords and tones. For example, in the top left, ”glitch art”