[论文解读] Universal Style Transfer via Feature Transforms

Yijun Li, Fang Chen+4 more|arXiv (Cornell University)|May 23, 2017

Generative Adversarial Networks and Image Synthesis被引用 348

一句话总结

本文提出一种通用、无需学习的风格迁移方法，使用对深度特征的白化和着色变换（WCT）使内容匹配任意风格，实现对未见风格的单次通道式风格化。它还引入一个多级、由粗到细的风格化流程，并将该方法应用于纹理合成。

ABSTRACT

Universal style transfer aims to transfer arbitrary visual styles to content images. Existing feed-forward based methods, while enjoying the inference efficiency, are mainly limited by inability of generalizing to unseen styles or compromised visual quality. In this paper, we present a simple yet effective method that tackles these limitations without training on any pre-defined styles. The key ingredient of our method is a pair of feature transforms, whitening and coloring, that are embedded to an image reconstruction network. The whitening and coloring transforms reflect a direct matching of feature covariance of the content image to a given style image, which shares similar spirits with the optimization of Gram matrix based cost in neural style transfer. We demonstrate the effectiveness of our algorithm by generating high-quality stylized images with comparisons to a number of recent methods. We also analyze our method by visualizing the whitened features and synthesizing textures via simple feature coloring.

研究动机与目标

• 提出一个通用的风格迁移目标，使其能够在未见的任意风格上泛化且无需对预定义风格进行训练。
• 提出一个简单高效的前馈管线，将特征变换整合到固定的编码器–解码器网络中。
• 表明通过WCT匹配特征协方差可实现高质量的风格化并支持纹理合成。
• 使用户能够控制风格化强度，并支持风格在空间上/随机变化。

提出的方法

• 使用VGG-19作为固定编码器，并训练五个对称解码器以将Relu_X_1特征反演回RGB。
• 在选定层提取内容特征f_c和风格特征f_s，然后对f_c进行白化以消除其相关性，接着进行着色以强制f_s的相关性（WCT）。
• 对特征进行中心化，对协方差进行特征分解，并通过 f_hat_c = E_c D_c^{-1/2} E_c^T f_c（白化）进行变换。
• 进行着色：f_hat_cs = E_s D_s^{1/2} E_s^T f_hat_c，然后加上风格均值m_s以获得变换后的特征。
• 可选地通过alpha将变换后的特征与原始内容特征混合，以实现可控的风格强度。
• 扩展到多级风格化，通过在Relu_5_1到Relu_1_1特征上依次应用WCT实现从粗到细的结果。
• 提供用于缩放（通过风格图像大小）、权重（风格化-内容平衡）和空间掩模以实现区域性风格化的用户控制。
• 通过使用随机内容和可选在纹理之间混合来演示纹理合成。

实验结果

研究问题

• RQ1 是否可以在无需对预定义风格进行训练的情况下，通过仅匹配特征统计来实现通用风格迁移？
• RQ2 白化和着色变换（WCT）是否能在保留内容结构的同时有效地迁移任意风格统计？
• RQ3 相较于单级迁移，多级从粗到细的WCT应用是否能提高风格化质量？
• RQ4 与现有方法相比，所提方法在质量、效率和对未见风格的泛化方面表现如何？
• RQ5 该方法是否可以扩展到纹理合成并支持风格插值？

主要发现

方法	log(L_s)	偏好/%	时间（秒）
Chen et al. [3]	7.4	15.7	2.1
Huang & Belongie [15]	7.0	24.9	0.20
TNet [27]	6.8	12.7	0.18
Gatys et al. [9]	6.7	16.4	21.2
Ours	6.3	30.3	0.83

• 该方法在无需对每种风格单独训练的情况下实现任意风格的风格迁移并产生高质量结果。
• 单级WCT可以有效迁移风格统计，而多级风格化提升了视觉质量。
• 与其他方法相比，所提出的方法在风格协方差距离（L_s）方面更低，在用户偏好方面有更高分数。
• 在报告的设置下，速度具有竞争力，处理256×256图像仅需0.83秒，并且实现了无需学习的泛化。
• 它支持纹理合成和在深特征空间中进行纹理之间的插值。
• 定性和定量评估表明，该方法捕捉到了超越简单颜色转移的显著风格模式。