[论文解读] StyleDiffusion: Controllable Disentangled Style Transfer via Diffusion Models

Zhizhong Wang, Lei Zhao+1 more|arXiv (Cornell University)|Aug 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出StyleDiffusion，一种基于扩散模型的新颖框架，用于可控且解耦的风格迁移，其显式提取内容，同时隐式学习互补的风格。通过结合基于CLIP的损失函数与扩散模型实现风格去除与生成，该方法在可解释性、用户可控的解耦内容与风格方面实现了最先进的风格迁移质量。

ABSTRACT

Content and style (C-S) disentanglement is a fundamental problem and critical challenge of style transfer. Existing approaches based on explicit definitions (e.g., Gram matrix) or implicit learning (e.g., GANs) are neither interpretable nor easy to control, resulting in entangled representations and less satisfying results. In this paper, we propose a new C-S disentangled framework for style transfer without using previous assumptions. The key insight is to explicitly extract the content information and implicitly learn the complementary style information, yielding interpretable and controllable C-S disentanglement and style transfer. A simple yet effective CLIP-based style disentanglement loss coordinated with a style reconstruction prior is introduced to disentangle C-S in the CLIP image space. By further leveraging the powerful style removal and generative ability of diffusion models, our framework achieves superior results than state of the art and flexible C-S disentanglement and trade-off control. Our work provides new insights into the C-S disentanglement in style transfer and demonstrates the potential of diffusion models for learning well-disentangled C-S characteristics.

研究动机与目标

• 解决现有风格迁移方法依赖隐式或难以控制的风格定义（如Gram矩阵或基于GAN的学习）的局限性。
• 在不依赖监督信号或预设风格假设的前提下，实现真正解耦的内容与风格表征。
• 通过将解耦转化为内容提取控制，实现对风格迁移的可解释与灵活控制。
• 利用扩散模型的强大生成能力，提升风格迁移的保真度与细节保留能力。
• 为基于扩散模型的图像生成中的解耦表征学习提供一种新范式。

提出的方法

• 通过基于扩散模型的风格去除模块显式提取内容特征，该模块对内容图像与风格图像均执行色彩去除操作，以分离出内容。
• 通过基于扩散模型的风格迁移模块隐式学习互补的风格信息，生成风格化输出。
• 引入一种基于CLIP的风格解耦损失，对齐内容图像与风格图像在CLIP嵌入空间中从内容到风格化输出的映射关系。
• 引入风格重建先验，通过在训练过程中鼓励模型重建原始风格图像，以确保风格迁移的忠实度。
• 采用两阶段训练流程：首先，使用CLIP损失与重建先验训练风格去除与迁移模块；其次，微调完整流水线以提升风格化效果。
• 利用扩散模型强大的生成能力，生成高质量、细节丰富的风格化图像，同时保持内容结构的完整性。

Figure 1: Overview of our proposed StyleDiffusion. The content image $I_{c}$ and style image $I_{s}$ are first fed into a diffusion-based style removal module to explicitly extract the domain-aligned content information. Then, the content of $I_{c}$ is fed into a diffusion-based style transfer modul

实验结果

研究问题

• RQ1 我们能否在不依赖Gram矩阵等显式风格定义的前提下，实现更具可解释性与可控性的内容与风格解耦？
• RQ2 扩散模型能否通过从图像中去除风格同时保留内容，有效实现内容与风格的解耦？
• RQ3 基于CLIP的损失函数能否通过对齐CLIP空间中内容到风格化输出的映射，有效引导解耦风格迁移？
• RQ4 与当前最先进方法相比，该方法在风格化质量、内容保留与解耦保真度方面表现如何？
• RQ5 该方法的失败模式是什么？能否通过架构或训练策略的修改加以缓解？

主要发现

• StyleDiffusion在风格迁移任务中达到最先进性能，在定性比较中优于Gatys [19]、EFDM [95]、TPFR [79]与ArtFlow [1]等方法。
• 该方法生成高度细节丰富的风格化图像，内容结构保持良好，多数据集的局部放大对比图清晰显示其优势。
• 基于CLIP的解耦损失显著提升了CLIP嵌入空间中内容与风格化输出之间的对齐程度，带来更连贯、更忠实的风格迁移效果。
• 风格重建先验增强了风格迁移的忠实度，减少了输出图像在颜色与纹理分布上与原始风格图像的偏差。
• 失败案例包括因色彩去除操作导致显著内容消失（如红色金鱼），可通过使用保持对比度的去色技术加以缓解。
• 在复杂风格（如点彩派）下，输出可能出现偏色现象，可通过增加风格重建迭代次数减轻，但会延长训练时间。

Figure 2: Illustration of different loss functions to transfer the disentangled style information. (a) L1 loss cannot guarantee the stylized results are within the style domain and may suffer from a collapse problem. (b) Direction loss aligns the disentangled directions but cannot realize accurate m