[论文解读] StyleAdapter: A Unified Stylized Image Generation Model

Zhouxia Wang, Xintao Wang+5 more|arXiv (Cornell University)|Sep 4, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

StyleAdapter 提出了一种无需 LoRA、单次推理的风格化图像生成模型，通过结合文本提示与风格参考图像，生成高质量、内容忠实的图像，并实现细粒度风格迁移。该方法采用双路交叉注意力模块与三种解耦策略，增强文本提示的可控性，减少参考图像中语义与风格的耦合，实现无需针对每种风格微调的竞争力表现。

ABSTRACT

This work focuses on generating high-quality images with specific style of reference images and content of provided textual descriptions. Current leading algorithms, i.e., DreamBooth and LoRA, require fine-tuning for each style, leading to time-consuming and computationally expensive processes. In this work, we propose StyleAdapter, a unified stylized image generation model capable of producing a variety of stylized images that match both the content of a given prompt and the style of reference images, without the need for per-style fine-tuning. It introduces a two-path cross-attention (TPCA) module to separately process style information and textual prompt, which cooperate with a semantic suppressing vision model (SSVM) to suppress the semantic content of style images. In this way, it can ensure that the prompt maintains control over the content of the generated images, while also mitigating the negative impact of semantic information in style references. This results in the content of the generated image adhering to the prompt, and its style aligning with the style references. Besides, our StyleAdapter can be integrated with existing controllable synthesis methods, such as T2I-adapter and ControlNet, to attain a more controllable and stable generation process. Extensive experiments demonstrate the superiority of our method over previous works.

研究动机与目标

• 开发一种统一的、无需 LoRA 的风格化图像生成模型，避免针对每种风格进行微调。
• 解决在融合文本提示与风格参考图像时提示可控性下降的挑战。
• 缓解参考图像中语义特征与风格特征之间的强耦合，提升内容保真度。
• 实现单次推理生成，无需微调即可泛化至未见过的风格。
• 与现有可控生成方法（如 ControlNet 和 T2I-Adapter）集成，以提升稳定性和控制能力。

提出的方法

• 引入双路交叉注意力模块（TPCA），分别处理文本提示与风格参考图像的特征，再进行融合。
• 对风格参考图像进行分块级打乱，以破坏语义-风格相关性，降低特征耦合。
• 在特征提取过程中移除 CLIP 类嵌入，以实现语义内容与风格表征的解耦。
• 使用共享相同风格但语义对象多样的参考图像，以提升风格泛化能力并减少语义偏差。
• 将 TPCA 与解耦策略整合为统一的推理流程，实现单次推理生成。
• 支持与可控生成方法（如 T2I-Adapter 和 ControlNet）集成，以增强控制能力。

实验结果

研究问题

• RQ1 能否通过单一统一模型，在无需针对每种风格微调的情况下，跨多样化风格生成高质量的风格化图像？
• RQ2 在融合文本提示与视觉风格参考时，如何保持提示的可控性？
• RQ3 在参考图像中，语义特征与风格特征的解耦程度如何，能否有效提升内容保真度？
• RQ4 模型在保持高风格化质量与语义准确性的同时，能否泛化至未见过的风格？
• RQ5 与基于 LoRA 和文本反演（text-inversion）的方法相比，该方法在性能与效率上表现如何？

主要发现

• StyleAdapter 在文本相似度、风格相似度与图像质量之间实现了更优平衡，其在基准测试中的 FID 为 137.40，Style-Sim 为 0.3976，优于当前最先进方法。
• 消融实验表明 TPCA 与解耦策略至关重要：任一组件的移除均导致内容保真度或风格准确度下降。
• 通过多参考图像与打乱策略，模型成功生成提示内容（如‘一只狗在水桶中’），同时保留参考图像的纹理与笔触细节。
• 在用户偏好与内容保真度方面，该模型优于基于 TI 与 LoRA 的方法，尤其在参考图像包含多样化语义时表现更优。
• 该方法在未见过的风格上保持高性能，展现出强大的泛化能力，且无需测试时微调。
• 尽管无需 LoRA，StyleAdapter 仍取得具有竞争力的结果，但在细粒度风格化质量方面仍略逊于 LoRA。