[论文解读] Neural Style Transfer: A Review

Yongcheng Jing, Yezhou Yang+4 more|arXiv (Cornell University)|May 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 138被引用 103

一句话总结

tldr: 这是截至2018年的神经风格迁移（NST）综合综述，概述了 NST 方法的分类学、评估策略、应用及未解决挑战。

ABSTRACT

The seminal work of Gatys et al. demonstrated the power of Convolutional Neural Networks (CNNs) in creating artistic imagery by separating and recombining image content and style. This process of using CNNs to render a content image in different styles is referred to as Neural Style Transfer (NST). Since then, NST has become a trending topic both in academic literature and industrial applications. It is receiving increasing attention and a variety of approaches are proposed to either improve or extend the original NST algorithm. In this paper, we aim to provide a comprehensive overview of the current progress towards NST. We first propose a taxonomy of current algorithms in the field of NST. Then, we present several evaluation methods and compare different NST algorithms both qualitatively and quantitatively. The review concludes with a discussion of various applications of NST and open problems for future research. A list of papers discussed in this review, corresponding codes, pre-trained models and more comparison results are publicly available at https://github.com/ycjing/Neural-Style-Transfer-Papers.

研究动机与目标

• 对近来 NST 算法及其理论基础进行分类与综合。
• 提出标准化的评估方法与基准比较。
• 讨论 NST 的实际应用及商业化使用案例。
• 识别尚待解决的挑战并提出未来研究方向。

提出的方法

• 提出两层次的 NST 分类法：基于图像优化的在线神经方法（Image-Optimisation-Based Online Neural Methods，IOB-NST）与基于模型优化的离线神经方法（Model-Optimisation-Based Offline Neural Methods，MOB-NST）。
• 分析带汇总统计量（基于 Gram）与基于 MRF 的模型的参数化与非参数化神经方法。
• 描述离线、前馈风格迁移模型（PSPM、MSPM、ASPM）及其结构变体。
• 结合实例归一化（instance normalization）和基于直方图的约束等改进，以解决不稳定性和细节保留问题。
• 讨论替代的风格表示（基于 Gram、MMD 解释、BN 统计量）及其含义。
• 概述用于比较 NST 算法的评估方法和基准。

实验结果

研究问题

• RQ1 NST 方法的主要类别和特征是什么？
• RQ2 在风格/内容表示、质量和效率方面，NST 方法的比较如何？
• RQ3 哪些评估策略能最好地捕捉风格化质量与内容保真？
• RQ4 NST 的实际局限性和未来潜在方向是什么？
• RQ5 各种架构选择（IN、CIN、StyleBank、基于补丁的损失）对结果有何影响？

主要发现

• NST 可以通过在CNN特征空间中匹配内容与风格表示来实现任意艺术风格的转移，而无需 ground-truth 风格化图像。
• NST 方法大致分为两类：IOB-NST（在线优化）和 MOB-NST（离线、前馈模型）。
• 参数化的 Gram 基风格表示建模二阶统计，但可能丢失细微结构；非参数化的基于补丁的 MRF 损失可以更好地保留纹理和光学真实细节。
• 实例归一化（IN）和直方图损失等改进提高了稳定性和渲染质量，但在深度/语义一致性以及笔刷变化方面仍存在挑战。
• MSPM 方法通过在模型间共享风格来降低训练负担，使用 CIN 或 StyleBank 等条件化机制来处理多种风格。
• 在保持细粒结构一致性、深度信息和语义意义的风格化方面仍存在局限性，尤其是对于照片真实感和复杂内容。