[论文解读] The Creativity of Text-to-Image Generation

Jonas Oppenlaender|arXiv (Cornell University)|May 13, 2022

Data Visualization and Analytics被引用 4

一句话总结

本文主张，传统的以产品为中心的创造力观点无法全面捕捉文本到图像生成中人类创造力的全貌，因此提出应采用以过程和情境为中心的方法，借助罗兹的'4 P'模型（产品、人物、过程、情境）。研究强调提示工程和在线社区在创造性实践中的核心作用，表明创造力源于人与AI的互动以及社区驱动的学习，而不仅限于最终的图像输出。

ABSTRACT

Text-guided synthesis of images has made a giant leap towards becoming a mainstream phenomenon. With text-to-image generation systems, anybody can create digital images and artworks. This provokes the question of whether text-to-image generation is creative. This paper expounds on the nature of human creativity involved in text-to-image art (so-called "AI art") with a specific focus on the practice of prompt engineering. The paper argues that the current product-centered view of creativity falls short in the context of text-to-image generation. A case exemplifying this shortcoming is provided and the importance of online communities for the creative ecosystem of text-to-image art is highlighted. The paper provides a high-level summary of this online ecosystem drawing on Rhodes' conceptual four P model of creativity. Challenges for evaluating the creativity of text-to-image generation and opportunities for research on text-to-image generation in the field of Human-Computer Interaction (HCI) are discussed.

研究动机与目标

• 挑战将创造力定义为以产品为中心的文本到图像生成方式，即仅将创造力归结为最终图像的原创性和有效性。
• 证明文本到图像艺术的创造性过程无法通过仅评估输出来捕捉，而必须关注人与AI的互动以及社区背景。
• 突出在线社区在塑造和支持新型创造性实践（如提示工程和内容筛选）中的作用。
• 倡导评估框架的转变，将过程、人物和情境（环境）纳入对AI生成艺术创造力的评估中。
• 识别人机交互（HCI）研究在设计协同创作系统方面的机遇，以支持提示工程和社区协作。

提出的方法

• 采用罗兹的'4 P'创造力模型（产品、人物、过程、情境）作为分析文本到图像生成中人类创造力的概念框架。
• 分析了文本到图像艺术创作的案例研究，重点关注提示工程作为核心创造性实践，涉及迭代优化和实验。
• 考察了在线社区（如Midjourney、Colab、社交媒体）作为关键情境（press）的作用，促进知识共享、反馈循环和集体学习。
• 探讨了图像级和作品集级筛选作为创造性行为，体现创作者的意图、审美判断和不断演变的风格。
• 借鉴大型语言模型（如GPT-3）中的自然语言提示技术，为文本到图像系统中的提示工程提供设计原则。
• 提出未来HCI研究应聚焦于设计支持协同创作工作流的用户界面和工具，如MindsEye或社区驱动的提示模板。

实验结果

研究问题

• RQ1 以产品为中心的创造力观点为何无法全面捕捉文本到图像生成中人类创造力的全貌？
• RQ2 在线社区在塑造文本到图像艺术中的创造性过程与实践（如提示工程）方面发挥何种作用？
• RQ3 人与AI系统之间的互动如何构成一种超越最终图像输出的协同创作形式？
• RQ4 如何应用'4 P'模型（产品、人物、过程、情境）以更好地理解并评估AI生成艺术中的创造力？
• RQ5 在设计支持提示工程和协同创造力的系统方面，HCI研究存在哪些机遇？

主要发现

• 以产品为中心的创造力定义——即要求最终图像具有原创性和有效性——无法涵盖提示工程和迭代优化中所涉及的创造性劳动。
• 文本到图像生成中的创造力不仅体现在图像输出上，更深深嵌入于通过试错和社区反馈不断打磨与优化提示的过程之中。
• 在线社区在4 P模型中作为关键的'情境'要素，提供共享资源、模板和协作学习环境，从而塑造创造性实践。
• 图像级和作品集级的筛选是重要的创造性行为，体现艺术家的审美判断和不断发展的身份认同，使创造力超越提示创作本身。
• 提示工程已发展为一种在在线社区中实践的独立创造性技艺，类似于传统艺术技法，但已适应与AI进行自然语言交互的语境。
• 文本到图像生成的兴起预示着创造性生产方式可能发生的潜在社会转变，其影响可类比于摄影术的历史影响，对数字时代中作者身份、技能与创造力的定义具有深远启示。