[论文解读] Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses

Eric Risser, Pierre Wilmot+1 more|arXiv (Cornell University)|Jan 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 201

一句话总结

本文提出直方图损失以稳定神经纹理合成和风格迁移，在多尺度框架内实现更高质量、收敛更快，并提供新的用户控件，以及自动参数调优。

ABSTRACT

Recently, methods have been proposed that perform texture synthesis and style transfer by using convolutional neural networks (e.g. Gatys et al. [2015,2016]). These methods are exciting because they can in some cases create results with state-of-the-art quality. However, in this paper, we show these methods also have limitations in texture quality, stability, requisite parameter tuning, and lack of user controls. This paper presents a multiscale synthesis pipeline based on convolutional neural networks that ameliorates these issues. We first give a mathematical explanation of the source of instabilities in many previous approaches. We then improve these instabilities by using histogram losses to synthesize textures that better statistically match the exemplar. We also show how to integrate localized style losses in our multiscale framework. These losses can improve the quality of large features, improve the separation of content and style, and offer artistic controls such as paint by numbers. We demonstrate that our approach offers improved quality, convergence in fewer iterations, and more stability over the optimization.

研究动机与目标

• 解决由 Gram 矩阵基损失引发的神经纹理合成与风格迁移中的不稳定性与伪影。
• 通过保留完整的激活直方图来提高合成质量和收敛速度。
• 在多尺度合成框架内实现艺术性和空间局部化控制（按数字上色）。
• 通过自动参数调优减少或消除对每张图像进行手动调参的需求。

提出的方法

• 将 Gram-matrix 基损失与逐特征直方图损失相结合，以匹配激活分布。
• 使用多尺度（金字塔）合成框架，在各尺度上提高质量和稳定性。
• 通过按数字上色掩模引入局部化损失，以实现区域特定的风格迁移与纹理合成。
• 引入全变差损失以平滑结果并提高视觉质量。
• 开发一种自动的基于梯度的参数调优方案，在优化过程中自适应调整损失权重。

实验结果

研究问题

• RQ1 与仅使用 Gram 的方法相比，结合直方图损失是否能稳定神经纹理合成和风格迁移？
• RQ2 局部化（按数字上色）损失是否能在不降低质量的情况下提供细粒度的艺术控制？
• RQ3 多尺度合成是否能改善大尺度特征的转移并减少伪影？
• RQ4 自动参数调优是否能够在保持或提高结果的同时，减少对每张图像的手动调参需求？

主要发现

• 直方图损失在加速收敛的同时减少不稳定性和鬼影。
• 局部化损失实现颜色与特征控制，提升对大尺度特征的再现，并实现按数字上色的风格迁移。
• 多尺度金字塔合成提高粗特征的保真度并减少卷积神经网络噪声伪影。
• 自动参数调优消除了对每张图像的手动调参，在默认参数下也能获得具有竞争力的结果。
• 将 Gram + 直方图损失与内容损失和 TV 损失相结合，所得到的结果比仅使用 Gram 的基线在质量和稳定性上都更高。