[论文解读] P$^2$-GAN: Efficient Style Transfer Using Single Style Image

Zhentan Zheng, Jianyi Liu|arXiv (Cornell University)|Jan 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 6

一句话总结

该论文提出P²-GAN，一种基于GAN的新型风格迁移方法，仅需单张风格图像即可实现高质量、高效的风格化。通过应用图像块置换生成多样化的训练样本，并采用图像块判别器实现无缝处理，该模型在局部风格迁移方面表现卓越，推理速度比当前最先进方法快2–3倍，在风格保真度和计算效率方面均优于其他方法。

ABSTRACT

Style transfer is a useful image synthesis technique that can re-render given image into another artistic style while preserving its content information. Generative Adversarial Network (GAN) is a widely adopted framework toward this task for its better representation ability on local style patterns than the traditional Gram-matrix based methods. However, most previous methods rely on sufficient amount of pre-collected style images to train the model. In this paper, a novel Patch Permutation GAN (P$^2$-GAN) network that can efficiently learn the stroke style from a single style image is proposed. We use patch permutation to generate multiple training samples from the given style image. A patch discriminator that can simultaneously process patch-wise images and natural images seamlessly is designed. We also propose a local texture descriptor based criterion to quantitatively evaluate the style transfer quality. Experimental results showed that our method can produce finer quality re-renderings from single style image with improved computational efficiency compared with many state-of-the-arts methods.

研究动机与目标

• 为解决仅使用一张风格图像训练GAN风格迁移模型的挑战，避免对大规模多样化风格图像集合的依赖。
• 通过聚焦于图像块级别的纹理学习而非全局内容推理，提升局部风格迁移（如笔触）的保真度。
• 通过设计轻量级、前馈式生成器和可无缝处理图像块与完整图像的图像块判别器，提升计算效率。
• 提供可控的、用户导向的风格迁移系统，使输出精确匹配用户指定的单张风格图像。

提出的方法

• 通过从单张风格图像中随机裁剪并重新组合图像块，生成多张训练样本的图像块置换模块，构建更大的置换图像。
• 生成器网络采用编码器-解码器架构并结合残差块，在保留内容的同时实现风格迁移，专为快速推理优化。
• 设计了一种新型图像块判别器（Dₚ），可联合处理图像块和全分辨率图像，实现端到端训练并保持一致的监督信号。
• 基于LBP（局部二值模式）的局部纹理描述符用作感知损失，以测量和优化图像块级别的风格相似性。
• 整体GAN损失结合对抗损失、内容损失和基于LBP的风格损失，通过超参数λ进行调优以实现最佳权衡。
• 训练在单张GPU上使用RMSProp进行，每种风格的模型约在20分钟内收敛。

实验结果

研究问题

• RQ1 当仅使用一张风格图像进行训练时，基于GAN的风格迁移模型能否实现高质量结果，避免分布坍塌？
• RQ2 从单张图像中进行图像块级别的数据增强，如何提升风格迁移中局部笔触模式的学习效果？
• RQ3 统一的判别器能否有效处理自然图像和图像块输入，从而提升训练稳定性和效率？
• RQ4 与Gram矩阵或感知损失相比，所提出的基于LBP的损失在局部纹理迁移保真度方面提升程度如何？
• RQ5 与现有最先进基于GAN和非GAN的风格迁移模型相比，所提方法的计算效率如何？

主要发现

• 所提方法在基于LBP的风格相似度评分上最低（0.756 ± 0.22），表明与源风格图像的纹理保真度最高，优于JohnsonNet（0.790 ± 0.33）和TextureNetIN（0.776 ± 0.35）。
• 先前的GAN方法MGAN [6] 得分最高（0.963 ± 0.37），表明风格相似度最差，暗示其可能学习到非预期或不一致的模式。
• 在1024×1024分辨率图像上实现了超过20 FPS的实时性能，显著优于JohnsonNet（128 ms）、TextureNetIN（137 ms）和MGAN（40.7 ms）。
• 在512×512分辨率图像上，该方法比MGAN快2.3倍，比TextureNetIN快2.2倍，展现出卓越的计算效率。
• 在保持或提升风格迁移质量的同时，相比最先进方法将计算成本降低了30–50%。
• 消融实验确认，图像块置换和图像块判别器对学习精细笔触模式及避免全局结构泄露至关重要。