[论文解读] Versatile Diffusion: Text, Images and Variations All in One Diffusion Model

Xingqian Xu, Zhangyang Wang+3 more|arXiv (Cornell University)|Nov 15, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

Versatile Diffusion (VD) 提出了一种统一的多流扩散框架，能够在一个模型中联合处理文到图、图到文、图像变换以及新型跨模态生成任务。通过利用共享且可互换的模块层，VD 在所有基础任务中均实现了具有竞争力的性能，并支持语义-风格解耦和双/多场景融合等新型能力，在多模态生成质量和多样性方面优于以往的单流模型。

ABSTRACT

Recent advances in diffusion models have set an impressive milestone in many generation tasks, and trending works such as DALL-E2, Imagen, and Stable Diffusion have attracted great interest. Despite the rapid landscape changes, recent new approaches focus on extensions and performance rather than capacity, thus requiring separate models for separate tasks. In this work, we expand the existing single-flow diffusion pipeline into a multi-task multimodal network, dubbed Versatile Diffusion (VD), that handles multiple flows of text-to-image, image-to-text, and variations in one unified model. The pipeline design of VD instantiates a unified multi-flow diffusion framework, consisting of sharable and swappable layer modules that enable the crossmodal generality beyond images and text. Through extensive experiments, we demonstrate that VD successfully achieves the following: a) VD outperforms the baseline approaches and handles all its base tasks with competitive quality; b) VD enables novel extensions such as disentanglement of style and semantics, dual- and multi-context blending, etc.; c) The success of our multi-flow multimodal framework over images and text may inspire further diffusion-based universal AI research. Our code and models are open-sourced at https://github.com/SHI-Labs/Versatile-Diffusion.

研究动机与目标

• 将文到图、图到文和图像变换等多种生成任务统一到一个可扩展的扩散模型中。
• 克服现有单流扩散模型仅针对单一任务优化、需独立架构的局限性。
• 通过共享的模块化架构实现超越图像与文本的跨模态泛化能力。
• 探索新型生成能力，如语义-风格解耦与多场景融合。
• 证明统一的多流扩散框架可在保持高性能的同时支持新型下游应用。

提出的方法

• 设计一种通用的多流扩散流水线，支持文到图、图到文和图像变换任务的并行处理。
• 实现可共享且可互换的模块层，以支持跨模态信息共享与任务特定适应。
• 采用共享潜在空间与基于VAE的编码器-解码器结构，包括用于文本的Optimus VAE和用于图像潜在表示的AutoKL。
• 在大规模数据集（如LAION-2B和COYO）上端到端训练模型，使用所有流之间的联合目标函数。
• 通过在生成过程中同时条件化于一张图像和一个文本，或多个图像和一个文本，引入双场景与多场景融合机制。
• 在所有流中应用迭代优化与噪声调度策略，以保持生成结果的一致性与质量。

实验结果

研究问题

• RQ1 一个单一的扩散模型能否有效处理文到图、图到文和图像变换等多样化多模态生成任务？
• RQ2 统一架构如何在无需任务特定微调的情况下，保持多流之间的高性能？
• RQ3 多流、多模态设计会催生哪些新型生成能力，如解耦或场景融合？
• RQ4 共享表征学习在多任务零样本或少样本泛化方面能提升多少？
• RQ5 随着流复杂度与数据多样性的增加，模型性能如何演变？

主要发现

• VD 在文到图与图像变换生成任务中优于基线模型，生成结果质量高且语义一致，具有更强的连贯性。
• 模型成功实现了语义-风格解耦，使用户可独立修改风格而保持内容不变，如在受控图像编辑中所展示。
• 双场景与多场景融合任务得到有效支持，能够基于一张图像与一个文本，或多个图像与一个文本进行条件生成，结果一致且语义合理。
• 在LAION-2B与COYO等大规模数据集上进行训练，使模型在多种模态与任务中均表现稳健，四流训练过程损失曲线稳定。
• 尽管性能强劲，VD 在文本生成任务中仍存在局限性，主要受限于Optimus VAE的潜在表征，尤其在长句或复杂句生成时表现不佳。
• 模型出现重复或冗余的文本生成现象，表明当前文本VAE在词序与序列建模方面存在不足，提示需改进文本潜在空间设计。