[论文解读] Separating Style and Content for Generalized Style Transfer

Yexun Zhang, Ya Zhang+2 more|arXiv (Cornell University)|Nov 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 18

一句话总结

本文提出了一种广义的风格迁移网络（EMD），通过风格编码器、内容编码器、双线性混合器和解码器分离风格与内容表征。通过利用条件依赖关系并采用三元组损失进行端到端训练，模型仅需10张参考图像即可实现对未见风格和内容的零样本迁移，其性能优于基于微调的方法，在中文字体迁移任务中表现更优。

ABSTRACT

Neural style transfer has drawn broad attention in recent years. However, most existing methods aim to explicitly model the transformation between different styles, and the learned model is thus not generalizable to new styles. We here attempt to separate the representations for styles and contents, and propose a generalized style transfer network consisting of style encoder, content encoder, mixer and decoder. The style encoder and content encoder are used to extract the style and content factors from the style reference images and content reference images, respectively. The mixer employs a bilinear model to integrate the above two factors and finally feeds it into a decoder to generate images with target style and content. To separate the style features and content features, we leverage the conditional dependence of styles and contents given an image. During training, the encoder network learns to extract styles and contents from two sets of reference images in limited size, one with shared style and the other with shared content. This learning framework allows simultaneous style transfer among multiple styles and can be deemed as a special `multi-task' learning scenario. The encoders are expected to capture the underlying features for different styles and contents which is generalizable to new styles and contents. For validation, we applied the proposed algorithm to the Chinese Typeface transfer problem. Extensive experiment results on character generation have demonstrated the effectiveness and robustness of our method.

研究动机与目标

• 解决现有风格迁移方法在每个新风格-内容对上均需微调的局限性。
• 通过学习解耦的风格与内容表征，实现在不微调的情况下泛化到未见风格与内容。
• 开发一个统一框架，通过共享特征编码器支持多个风格与内容的同时迁移。
• 在具有挑战性的中文字体迁移任务上验证该方法，该任务中风格差异细微，数据高效学习至关重要。

提出的方法

• 模型使用风格编码器和内容编码器从参考图像中提取解耦特征，利用给定图像下风格与内容之间的条件依赖关系。
• 双线性混合器将提取的风格与内容表征组合，生成用于图像合成的联合特征图。
• 解码器使用前馈网络从混合表征生成最终图像。
• 采用图像重建的加权L1损失进行端到端训练，使用三元组（风格参考集、内容参考集、目标图像）进行优化。
• 该框架被训练为多任务学习场景，每个三元组代表一个独特的风格-内容组合。
• 通过将学习到的编码器和混合器应用于新的参考集，无需微调即可泛化到新风格。

实验结果

研究问题

• RQ1 风格迁移模型是否能在不微调的情况下泛化到未见风格与内容？
• RQ2 模型能否仅从少量参考图像中学习到解耦的风格与内容表征？
• RQ3 学习共享特征表征是否能带来优于为每个风格-迁移对单独微调的方法的性能？
• RQ4 该模型在细粒度风格迁移任务（如中文字体迁移）中的表现如何？

主要发现

• EMD 模型在10个随机采样的风格上平均L1损失、RMSE和PDAR均最低，优于所有基线模型。
• 仅使用每种风格10张参考图像，EMD 的性能优于 zi-to-zi-300，且接近 zi-to-zi-1299，展现出强大的 few-shot 泛化能力。
• 如 pix2pix、AEGN 和 CycleGAN 等基线模型即使在10张图像上微调后表现仍较差，且需数百张图像才能达到可接受结果。
• 与依赖微调的方法不同，该模型能有效泛化到训练过程中未见过的新风格。
• 共享编码器与双线性混合机制使模型在多样化的风格-内容组合中实现鲁棒性能，且所需数据极少。