[论文解读] Stroke Controllable Fast Style Transfer with Adaptive Receptive Fields

Yongcheng Jing, Yang Liu+5 more|arXiv (Cornell University)|Feb 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 16

一句话总结

本文提出了一种具有笔触可控性的快速风格迁移网络，通过自适应感受野和两种新型训练策略，实现了连续且空间可变的笔触大小控制。通过显式建模感受野和风格图像尺度，该方法在单张图像中实现了不同区域间具有明显差异的笔触大小，同时在灵活性和效率方面优于先前方法，且不损失质量。

ABSTRACT

The Fast Style Transfer methods have been recently proposed to transfer a photograph to an artistic style in real-time. This task involves controlling the stroke size in the stylized results, which remains an open challenge. In this paper, we present a stroke controllable style transfer network that can achieve continuous and spatial stroke size control. By analyzing the factors that influence the stroke size, we propose to explicitly account for the receptive field and the style image scales. We propose a StrokePyramid module to endow the network with adaptive receptive fields, and two training strategies to achieve faster convergence and augment new stroke sizes upon a trained model respectively. By combining the proposed runtime control strategies, our network can achieve continuous changes in stroke sizes and produce distinct stroke sizes in different spatial regions within the same output image.

研究动机与目标

• 为解决快速风格迁移中笔触大小控制粒度过粗的问题，特别是针对艺术风格迁移场景。
• 在单一模型中实现无需重新训练的连续且空间可变的笔触大小控制。
• 提升训练效率，并实现在训练后对新笔触大小的增量学习。
• 分析感受野和风格图像尺度对风格化输出中笔触大小的影响。
• 构建一个统一框架，支持灵活的艺术控制，同时保持高质量和高速的风格化效果。

提出的方法

• 提出一种StrokePyramid模块，赋予网络自适应感受野能力，通过不同感受野大小学习多种笔触大小。
• 引入一种渐进式训练策略，通过按顺序训练不同笔触大小，利用分支间的知识迁移，加快收敛速度。
• 开发一种增量训练策略，可在不从头开始训练的情况下，向预训练模型中添加新的笔触大小。
• 采用运行时控制机制，实现在单个输出图像中连续变化的笔触大小以及空间可变的笔触大小。
• 显式考虑感受野大小和风格图像尺度作为影响风格化结果中笔触大小的关键因素。
• 采用多分支网络架构，每个分支通过独立的感受野配置学习特定的笔触大小。

实验结果

研究问题

• RQ1 感受野大小与风格图像尺度如何共同影响神经风格迁移输出中的笔触大小？
• RQ2 单个模型能否在不重新训练的情况下实现连续且空间可变的笔触大小控制？
• RQ3 在学习多种笔触大小时，如何加速训练收敛？
• RQ4 能否在不发生灾难性遗忘或完全重新训练的情况下，向已训练模型中添加新的笔触大小？
• RQ5 自适应感受野对笔触大小控制和风格化质量有何影响？

主要发现

• 渐进式训练策略相比单独训练每个笔触大小，显著缩短了收敛时间，得益于分支间的知识迁移。
• 增量训练策略使得添加新笔触大小的训练时间相比从头训练大幅减少。
• 所提方法的平均风格损失与最先进的方法[35]相当，同时平均内容损失略低。
• 模型在单张NVIDIA Quadro M6000上实现了实时推理，每张1024×1024图像的平均风格化时间为0.09秒。
• 模型大小仅为0.99 MB，适合在资源受限环境中部署。
• 该方法是首个在单一模型中同时实现连续与空间笔触大小控制的方法，能够在同一输出图像的不同区域实现不同的笔触大小。