[论文解读] Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting

Jin Liu, Huaibo Huang+2 more|arXiv (Cornell University)|Dec 3, 2023

Face recognition and analysis被引用 4

一句话总结

Portrait Diffusion 是一种无需训练的面部风格化框架，利用预训练的文本到图像扩散模型，在无需微调的情况下实现细粒度面部风格迁移。它通过潜在码反演和一种新颖的风格注意力控制机制，在注意力空间中融合内容与风格特征，同时利用 Chain-of-Painting 实现迭代优化，从而提升生成质量并支持多风格迁移。

ABSTRACT

Face stylization refers to the transformation of a face into a specific portrait style. However, current methods require the use of example-based adaptation approaches to fine-tune pre-trained generative models so that they demand lots of time and storage space and fail to achieve detailed style transformation. This paper proposes a training-free face stylization framework, named Portrait Diffusion. This framework leverages off-the-shelf text-to-image diffusion models, eliminating the need for fine-tuning specific examples. Specifically, the content and style images are first inverted into latent codes. Then, during image reconstruction using the corresponding latent code, the content and style features in the attention space are delicately blended through a modified self-attention operation called Style Attention Control. Additionally, a Chain-of-Painting method is proposed for the gradual redrawing of unsatisfactory areas from rough adjustments to fine-tuning. Extensive experiments validate the effectiveness of our Portrait Diffusion method and demonstrate the superiority of Chain-of-Painting in achieving precise face stylization. Code will be released at \url{https://github.com/liujin112/PortraitDiffusion}.

研究动机与目标

• 解决现有面部风格化方法在为每种新风格微调时耗时且存储开销大的局限性。
• 在保留面部身份和局部细节（如发丝纹理、眼影）的同时，实现精确的细粒度风格迁移。
• 开发一种零样本框架，支持使用任意参考图像进行灵活的风格迁移而无需重新训练。
• 引入渐进式优化范式，以改善不理想区域，并实现在单张图像中对不同面部属性进行多风格风格化。

提出的方法

• 使用 DDIM 反演将源图像和参考图像转换为潜在码，分别表示内容和风格特征。
• 将标准自注意力机制替换为风格注意力控制机制，该机制通过双分支交叉注意力，利用调制融合比例来融合内容与风格特征。
• 引入掩码提示风格注意力控制机制，通过源图像和参考图像的掩码限制注意力范围至语义对齐区域，减少查询混淆。
• 实施 Chain-of-Painting，一种顺序优化过程，通过属性特定掩码对特定面部区域逐轮应用风格化。
• 通过风格引导缩放系数控制风格化强度，该系数调制注意力机制中的融合比例。
• 利用人类反馈指导 Chain-of-Painting 中目标区域细化所用的面部属性图选择。

实验结果

研究问题

• RQ1 无训练方法能否在不微调预训练扩散模型的前提下实现高保真、细粒度的面部风格化？
• RQ2 如何在注意力空间中有效融合内容与风格特征，以在迁移复杂艺术风格的同时保持面部身份？
• RQ3 迭代式、区域特定的优化能否超越单次生成方法，显著提升风格化质量？
• RQ4 能否通过单一框架在单张图像中对不同面部属性应用多种独立的风格？
• RQ5 与基于微调的最先进方法相比，所提方法在用户偏好度和效率方面表现如何？

主要发现

• 在人工评估中，Portrait Diffusion 的用户偏好率达到 30.26%，显著高于次优方法 JoJoGAN 的 20.52%。
• 该方法的微调时间为 0 秒，而其他方法的微调时间介于 48.52 秒到 2000 秒以上不等。
• 消融实验表明，若移除风格注意力控制机制，将导致显著的语义失真和伪影，证实其在保持内容完整性方面的重要作用。
• Chain-of-Painting 有效提升了不理想区域的细节质量，改善了发丝纹理、眼影等局部特征，同时保持了身份一致性。
• 该方法成功实现了使用多个参考图像和掩码在 Chain-of-Painting 中将多种风格分别迁移至不同面部属性（如头发采用一种风格，眼睛采用另一种风格）。
• 与基于扩散的基线方法（如 VCT 和 InST）相比，Portrait Diffusion 在内容一致性和风格保真度方面表现更优，尤其在表情变化或复杂纹理等挑战性情况下优势明显。