[论文解读] Playground v2.5: Three Insights towards Enhancing Aesthetic Quality in Text-to-Image Generation

Daiqing Li, Aleks Kamko+4 more|arXiv (Cornell University)|Feb 27, 2024

Virtual Reality Applications and Impacts被引用 4

一句话总结

Playground v2.5 通过三项关键洞察显著提升了文本到图像扩散模型的美学质量：优化噪声调度以提升真实感与视觉保真度，采用平衡的分桶数据集以支持多样化的长宽比，以及通过与人类偏好对齐来增强以人为中心的细节表现。该模型在用户偏好和 FID 指标上均超越了 SDXL、Playground v2、DALL·E 3 和 Midjourney v5.2，于 MJHQ-30K 基准测试中取得整体 FID 4.48 的最先进性能。

ABSTRACT

In this work, we share three insights for achieving state-of-the-art aesthetic quality in text-to-image generative models. We focus on three critical aspects for model improvement: enhancing color and contrast, improving generation across multiple aspect ratios, and improving human-centric fine details. First, we delve into the significance of the noise schedule in training a diffusion model, demonstrating its profound impact on realism and visual fidelity. Second, we address the challenge of accommodating various aspect ratios in image generation, emphasizing the importance of preparing a balanced bucketed dataset. Lastly, we investigate the crucial role of aligning model outputs with human preferences, ensuring that generated images resonate with human perceptual expectations. Through extensive analysis and experiments, Playground v2.5 demonstrates state-of-the-art performance in terms of aesthetic quality under various conditions and aspect ratios, outperforming both widely-used open-source models like SDXL and Playground v2, and closed-source commercial systems such as DALLE 3 and Midjourney v5.2. Our model is open-source, and we hope the development of Playground v2.5 provides valuable guidelines for researchers aiming to elevate the aesthetic quality of diffusion-based image generation models.

研究动机与目标

• 提升文本到图像扩散模型的美学质量，超越现有开源与商业系统。
• 解决在色彩与对比度保真度方面的局限，特别是在生成纯色背景和鲜艳视觉效果方面。
• 通过结构化的数据集分桶方法，提升模型在多种长宽比下的性能表现。
• 通过与人类感知偏好对齐，提升以人为中心细节的生成质量。
• 建立新的基准（MJHQ-30K），用于自动评估文本到图像生成中的美学质量。

提出的方法

• 在扩散模型训练过程中优化噪声调度，以增强真实感与视觉保真度。
• 构建一个平衡的、分桶的数据集，涵盖多样化的长宽比，以提升模型在不同图像尺寸下的泛化能力。
• 应用人类偏好对齐技术，对模型进行微调，重点针对强调真实人类特征与精细细节的提示。
• 引入 MJHQ-30K 基准，该数据集包含从 Midjourney v5.2 收集的 30,000 张高质量图像，经美学评分与 CLIP 分数筛选，用于评估。
• 使用 Fréchet Inception Distance（FID）对图像质量与对齐度进行定量评估，涵盖人物与时尚等 10 个类别。
• 不进行架构修改，专注于训练配方的优化，以从 Playground v2 提升美学质量。

(a) Generating solid backgrounds. The top row is sampled from SDXL [ 28 ] , bottom row is Playground v2.5. SDXL fails to generate pure black or white background while our model can follow the prompt faithfully.

实验结果

研究问题

• RQ1 噪声调度优化对文本到图像扩散模型的真实感与视觉保真度有何影响？
• RQ2 平衡的分桶数据集在多长宽比下能多大程度提升生成质量？
• RQ3 人类偏好对齐在生成以人为中心图像的精细细节方面有何影响？
• RQ4 像 MJHQ-30K 这样的自动基准能否可靠地反映人类在美学图像生成中的偏好？
• RQ5 优化训练配方组件在多大程度上可超越架构改动，提升美学质量？

主要发现

• Playground v2.5 在 MJHQ-30K 基准测试中取得整体 FID 4.48，显著优于 SDXL（9.55）与 Playground v2（7.07）。
• 模型在生成鲜艳色彩与对比度方面表现卓越，尤其在复杂提示与纯色背景生成中，如对比样本所示。
• 在 People-200 提示集的用户偏好研究中，Playground v2.5 胜过 SDXL、RealStock v2 与 Playground v2，尤其在人像与以人为中心的图像生成中表现更优。
• 模型在所有长宽比下均达到最先进水平，且在 SDXL 与 Playground v2 的基础上实现了稳定性能提升。
• MJHQ-30K 基准显示 FID 得分与人类偏好之间具有强相关性，验证了其作为可靠自动评估指标的有效性。
• Playground v2.5 在用户偏好研究中超越了 DALL·E 3 与 Midjourney v5.2 等闭源模型，证明了其训练配方优化的有效性。

(b) Colors and contrast . The top row is SDXL, bottom row is Playground v2.5. Our model can generate samples with more vibrant colors and contrast.