[论文解读] Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer

Shuai Yang, Liming Jiang+2 more|arXiv (Cornell University)|Mar 24, 2022

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文提出DualStyleGAN，一种新颖的生成模型，通过引入双风格路径——内在风格路径（用于原始人脸领域）与外在风格路径（用于灵活控制参考图像中的艺术风格），实现了高分辨率（1024×1024）样本驱动的人像风格迁移。该方法仅使用数百张风格图像，即在渐进式微调策略的支持下，实现了最先进的风格迁移质量与多样性，确保了稳定的分布偏移与有效的风格调制。

ABSTRACT

Recent studies on StyleGAN show high performance on artistic portrait generation by transfer learning with limited data. In this paper, we explore more challenging exemplar-based high-resolution portrait style transfer by introducing a novel DualStyleGAN with flexible control of dual styles of the original face domain and the extended artistic portrait domain. Different from StyleGAN, DualStyleGAN provides a natural way of style transfer by characterizing the content and style of a portrait with an intrinsic style path and a new extrinsic style path, respectively. The delicately designed extrinsic style path enables our model to modulate both the color and complex structural styles hierarchically to precisely pastiche the style example. Furthermore, a novel progressive fine-tuning scheme is introduced to smoothly transform the generative space of the model to the target domain, even with the above modifications on the network architecture. Experiments demonstrate the superiority of DualStyleGAN over state-of-the-art methods in high-quality portrait style transfer and flexible style control.

研究动机与目标

• 实现高分辨率、样本驱动的人像风格迁移，同时保留来自参考艺术作品的色彩与复杂结构风格。
• 解决现有基于StyleGAN的方法在外部艺术风格上缺乏细粒度、灵活控制的局限性。
• 设计一种新型生成架构，在保持原始StyleGAN高质量生成能力的同时，支持迁移到新的艺术领域。
• 开发一种渐进式微调策略，稳定训练过程，并实现向目标风格领域的平滑分布偏移。
• 通过内容与艺术风格分别解耦的内在与外在风格路径，实现灵活的风格控制。

提出的方法

• 提出双风格路径架构：保留自StyleGAN的内在风格路径（用于内容与原始领域风格），以及用于建模与控制外部艺术风格的新颖外在风格路径。
• 以外在风格路径采用残差形式设计，以近似卷积层上的微调效果，实现有效的结构风格调制。
• 在外在路径中采用分层结构：粗分辨率层调制面部组件形状（如嘴巴），细分辨率层负责色彩调制。
• 提出渐进式微调方案：从简单的风格迁移任务开始，逐步增加难度，确保生成空间的稳定适应。
• 引入面部去风格化方法，生成成对的人脸-肖像数据用于监督，减少模式崩溃并提升风格多样性。
• 通过内在与外在风格码的插值实现灵活的风格混合与保留，并通过缩放外在码实现可调节的风格强度。

实验结果

研究问题

• RQ1 能否扩展生成模型以支持样本驱动的风格迁移，同时保持原始人脸领域质量与控制能力？
• RQ2 如何在高分辨率人像生成中有效且分层地调制来自参考艺术作品的结构与色彩风格？
• RQ3 需要何种架构与训练策略，才能在保持预训练StyleGAN生成质量的同时，实现向新艺术领域的迁移？
• RQ4 渐进式微调能否稳定训练过程，并在修改后的StyleGAN架构中实现平滑的分布偏移？
• RQ5 如何通过潜在码实现内容与艺术风格的灵活、解耦控制？

主要发现

• DualStyleGAN在高分辨率（1024×1024）样本驱动的人像风格迁移任务中达到最先进性能，生成高保真度的仿作，能准确模仿参考图像中的色彩与结构风格。
• 外在风格路径实现了语义分层的风格调制：早期层影响整体面部形状，16×16层放大面部组件，32×32层细化如皱纹等局部特征。
• 渐进式微调对成功实现风格迁移至关重要；直接训练无法有效迁移复杂外在风格，尤其在后期阶段表现失败。
• 通过禁用色彩层或在最后几层用内在码替换外在码，可实现色彩与结构的保留，生成兼具艺术风格与照片真实感的结果。
• 通过内在与外在风格码的插值实现平滑风格混合，展示了对风格流形的合理覆盖。
• 该模型可泛化至未见过的风格（如Pixar、漫画、《灌篮高手》风格），结果合理，尽管未优化时性能略有下降，极端或罕见风格下可能出现伪影。