[论文解读] Visual Programming for Text-to-Image Generation and Evaluation

Jaemin Cho, Abhay Zala+1 more|arXiv (Cornell University)|May 24, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了VPGen，一种用于可解释、分步式文本到图像（T2I）生成的视觉编程框架，该框架利用微调过的语言模型在传递给布局到图像的扩散模型之前，生成物体数量和布局。同时，本文还提出了VPEval，一种使用特定任务视觉模块和多模态解释的可解释评估框架。VPGen在物体数量、空间关系和尺度方面实现了更优的控制，而VPEval在人类判断相关性方面优于单一模型基线。

ABSTRACT

As large language models have demonstrated impressive performance in many domains, recent works have adopted language models (LMs) as controllers of visual modules for vision-and-language tasks. While existing work focuses on equipping LMs with visual understanding, we propose two novel interpretable/explainable visual programming frameworks for text-to-image (T2I) generation and evaluation. First, we introduce VPGen, an interpretable step-by-step T2I generation framework that decomposes T2I generation into three steps: object/count generation, layout generation, and image generation. We employ an LM to handle the first two steps (object/count generation and layout generation), by finetuning it on text-layout pairs. Our step-by-step T2I generation framework provides stronger spatial control than end-to-end models, the dominant approach for this task. Furthermore, we leverage the world knowledge of pretrained LMs, overcoming the limitation of previous layout-guided T2I works that can only handle predefined object classes. We demonstrate that our VPGen has improved control in counts/spatial relations/scales of objects than state-of-the-art T2I generation models. Second, we introduce VPEval, an interpretable and explainable evaluation framework for T2I generation based on visual programming. Unlike previous T2I evaluations with a single scoring model that is accurate in some skills but unreliable in others, VPEval produces evaluation programs that invoke a set of visual modules that are experts in different skills, and also provides visual+textual explanations of the evaluation results. Our analysis shows that VPEval provides a more human-correlated evaluation for skill-specific and open-ended prompts than widely used single model-based evaluation. We hope that our work encourages future progress on interpretable/explainable generation and evaluation for T2I models.

研究动机与目标

• 为解决现有文本到图像生成方法在可解释性和可控性方面的不足，通过将任务分解为模块化、分步式的视觉编程组件来实现。
• 克服端到端T2I模型在处理空间关系、物体数量和未见物体类别方面的局限性。
• 开发一种评估框架，提供可解释的、与技能相关的评估结果，并辅以视觉和文本说明，提升与人类判断的一致性。
• 通过利用大语言模型的世界知识，实现更强的空间和语义控制。
• 证明：使用专家视觉模块的模块化、程序化评估方法，相比单一模型评估基线，能获得更高的与人类判断的相关性。

提出的方法

• VPGen将T2I生成过程分解为三个顺序模块：物体/数量生成、布局生成和图像生成，每个模块均由专用组件执行。
• 通过微调的Vicuna语言模型从文本提示中生成物体列表和空间布局，利用预训练的世界知识处理未见物体。
• 布局到图像的扩散模型（如GLIGEN）根据预测的布局生成最终图像，实现高保真度图像合成。
• VPEval构建评估程序，根据提示语义动态调用专用视觉模块，如物体检测器、深度估计器和VQA模型。
• 每个评估模块提供其评估结果的视觉和文本解释，实现可解释的、多技能的图像评估。
• 通过大语言模型（GPT-3.5-Turbo）实时生成评估程序，适用于开放式提示，无需在标注程序上进行微调。

实验结果

研究问题

• RQ1 与端到端模型相比，分步式视觉编程框架是否能提升文本到图像生成中的空间和语义控制？
• RQ2 语言模型的世界知识在多大程度上能提升布局引导式T2I生成中对未见物体类别的泛化能力？
• RQ3 基于专家视觉模块的模块化评估框架是否能实现比单一模型评估基线更高的与人类判断的相关性？
• RQ4 视觉与文本解释的结合在提升T2I评估的可解释性和可靠性方面有多有效？
• RQ5 在未对昂贵标注数据进行微调的情况下，评估的动态程序生成是否能保持高准确率和高覆盖率？

主要发现

• VPGen在生成准确的物体数量、空间关系和尺度方面优于Stable Diffusion等强基线模型，展现出更优的布局控制能力。
• 在基于技能的提示下，VPGen在Count（63.7）、Spatial（63.8）和Scale（51.2）技能上得分高于基线，而VPEval †在Scale上达到79.0。
• 在基于技能的提示下，VPEval与人类判断的相关性达到66.6，显著优于CLIP（33.2）、文字描述指标（BLEU-4: 18.3）和VQA（55.9）基线。
• 在开放式提示下，VPEval与人类判断的Spearman相关系数ρ为56.9，使用更强的VQA模块的VPEval †提升至60.3。
• 人工评估显示近乎完美的评分者间一致性（κ = 0.85，α = 0.85），验证了用于评估VPEval的人类判断的可靠性。
• 程序忠实度分析表明，提示元素的覆盖率高，各模块的准确率也高，说明程序生成与执行具有强鲁棒性。