[论文解读] StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Translation

Peter Schaldenbrand, Zhixuan Liu+1 more|arXiv (Cornell University)|Feb 24, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

StyleCLIPDraw 提出了一种用于文本到绘画生成的耦合优化框架，通过联合优化来自文本提示和参考风格图像的内容与风格，利用 CLIP 和 VGG16 特征。人工评估显示，84.9% 的偏好选择 StyleCLIPDraw 胜过顺序式风格迁移方法，表明在艺术感知中，风格与内容本质上是相互关联的，且联合优化可生成更受青睐、更具艺术一致性的结果。

ABSTRACT

Generating images that fit a given text description using machine learning has improved greatly with the release of technologies such as the CLIP image-text encoder model; however, current methods lack artistic control of the style of image to be generated. We present an approach for generating styled drawings for a given text description where a user can specify a desired drawing style using a sample image. Inspired by a theory in art that style and content are generally inseparable during the creative process, we propose a coupled approach, known here as StyleCLIPDraw, whereby the drawing is generated by optimizing for style and content simultaneously throughout the process as opposed to applying style transfer after creating content in a sequence. Based on human evaluation, the styles of images generated by StyleCLIPDraw are strongly preferred to those by the sequential approach. Although the quality of content generation degrades for certain styles, overall considering both content extit{and} style, StyleCLIPDraw is found far more preferred, indicating the importance of style, look, and feel of machine generated images to people as well as indicating that style is coupled in the drawing process itself. Our code (https://github.com/pschaldenbrand/StyleCLIPDraw), a demonstration (https://replicate.com/pschaldenbrand/style-clip-draw), and style evaluation data (https://www.kaggle.com/pittsburghskeet/drawings-with-style-evaluation-styleclipdraw) are publicly available.

研究动机与目标

• 为解决文本到图像生成中艺术控制不足的问题，特别是超越简单文本描述的风格定制问题。
• 探究艺术理论所暗示的绘画过程中风格与内容是否本质上是耦合的。
• 开发一种方法，使用户能够通过文本指定内容，通过示例图像指定风格，以增强创作主导权。
• 发布一个包含 352 幅 AI 生成绘画的公开数据集，并附有详细的人工评估结果，涵盖风格与内容质量。
• 提供可访问的工具，包括代码、Colab 笔记本和在线演示，以实现风格可控图像生成的普及化。

提出的方法

• StyleCLIPDraw 通过最小化两个损失函数，联合优化可微分的绘画表示：一个用于内容，基于 CLIP 的文本-图像嵌入相似性；另一个用于风格，基于从参考风格图像中提取的 VGG16 特征。
• 该方法使用一种可微分的光栅化绘画表示，通过反向传播迭代优化，使其与文本和风格图像的嵌入对齐。
• 内容损失通过 CLIP 的文本到图像对比损失计算，确保生成的绘画与提示的语义内容一致。
• 风格损失通过预训练的 VGG16 网络特征图的格拉姆矩阵计算，捕捉来自风格图像的纹理、色彩和空间布局。
• 优化过程为端到端，确保在整个生成过程中风格与内容协同适应，而非在后期应用风格迁移。
• 该方法通过包含 139 名参与者的用户研究进行评估，将 StyleCLIPDraw 与基线方法（先使用 CLIPDraw 生成内容，再单独进行风格迁移）进行对比。

实验结果

研究问题

• RQ1 在文本到绘画生成中，是否通过联合优化内容与风格，能够产生比顺序应用内容生成与风格迁移更受青睐且更具艺术一致性的结果？
• RQ2 当应用强烈或抽象风格时，生成内容的感知质量会下降到何种程度，这又如何影响整体用户偏好？
• RQ3 用户如何感知 AI 生成绘画中风格与内容的相互依赖性？这是否与艺术理论中风格与内容不可分割的观点一致？
• RQ4 参考图像能否作为非专业用户在文本到绘画生成中有效且直观的风格控制机制？
• RQ5 风格模糊性（如抽象与写实）对生成内容的可识别性与用户偏好的影响如何？

主要发现

• 在考虑风格与内容的综合评估中，84.9% 的人工评估偏好选择 StyleCLIPDraw 胜过解耦基线方法，表明用户对耦合方法有强烈偏好。
• 尽管在某些情况下内容清晰度较低，但风格与内容的联合优化显著提升了整体偏好度，凸显了风格在用户感知中的重要性。
• 在风格图像真实感模糊性与感知内容质量之间发现显著正相关（r = 0.72，p = 0.04），表明抽象风格会增加内容识别的难度。
• 在所有风格维度上，该方法在人工评估中均优于基线，证实风格并非可有可无的附加成分，而是艺术感知的核心组成部分。
• 本研究发布了包含 352 幅 AI 生成绘画的新型公开数据集，并附有对风格与内容的详细人工标注，为未来自动化风格评估研究提供支持。
• 该方法已公开发布，提供代码、Google Colab 笔记本和在线演示，使非技术用户和未来研究者能够广泛使用。