[论文解读] Quantitative Evaluation of Style Transfer

Mao-Chuang Yeh, Shuai Tang+2 more|arXiv (Cornell University)|Mar 31, 2018

Image Enhancement Techniques参考文献 29被引用 10

一句话总结

本文提出一种基于EC图的风格迁移定量评估框架，用于衡量效果（风格保真度）与连贯性（对象结构保持）。结果表明，跨层Gram矩阵控制在极端风格权重下优于传统层内方法，因其减少了对称性引起的不稳定性；人类偏好研究验证了该度量的预测能力。

ABSTRACT

Style transfer methods produce a transferred image which is a rendering of a content image in the manner of a style image. There is a rich literature of variant methods. However, evaluation procedures are qualitative, mostly involving user studies. We describe a novel quantitative evaluation procedure. One plots effectiveness (a measure of the extent to which the style was transferred) against coherence (a measure of the extent to which the transferred image decomposes into objects in the same way that the content image does) to obtain an EC plot. We construct EC plots comparing a number of recent style transfer methods. Most methods control within-layer gram matrices, but we also investigate a method that controls cross-layer gram matrices. These EC plots reveal a number of intriguing properties of recent style transfer methods. The style used has a strong effect on the outcome, for all methods. Using large style weights does not necessarily improve effectiveness, and can produce worse results. Cross-layer gram matrices easily beat all other methods, but some styles remain difficult for all methods. Ensemble methods show real promise. It is likely that, for current methods, each style requires a different choice of weights to obtain the best results, so that automated weight setting methods are desirable. Finally, we show evidence comparing our EC evaluations to human evaluations.

研究动机与目标

• 为解决风格迁移方法缺乏标准化、定量的评估协议的问题。
• 开发一种基于度量的框架，以同时捕捉风格迁移图像中的风格保真度（效果）与结构保持性（连贯性）。
• 基于深度特征统计，采用一种新颖且可复现的评估协议，对近期风格迁移方法进行比较。
• 研究风格损失函数对称性对迁移质量与稳定性的影响。
• 通过Amazon Mechanical Turk用户研究，将所提出的评估度量与人类感知进行验证。

提出的方法

• 作者定义了两个核心度量：效果（E），衡量风格迁移图像与风格图像之间特征分布的差异；连贯性（C），利用BSDS500数据集中的内容图像对象分割，衡量与内容图像的对齐程度。
• 通过在多个卷积层上计算风格迁移图像与风格图像之间的特征分布差异，来计算效果。
• 连贯性通过内容图像与风格迁移图像在图像分割级别上的差异进行度量，并提出一种新型的分割级别差异度量方法。
• 通过在多个内容-风格配对中绘制E与C的关系，生成EC图，实现对不同方法的可视化与定量比较。
• 分析Gatys方法与跨层风格损失的对称性群，发现更大的对称群会允许特征重标度与均值偏移，从而导致不稳定性。
• 通过Amazon Mechanical Turk开展用户研究，使用专业工人与普通工人，以关联EC得分与人类偏好。

实验结果

研究问题

• RQ1 在多样化的图像内容与风格配对中，不同风格迁移方法在风格保真度与结构连贯性方面表现如何？
• RQ2 选择Gram矩阵（层内 vs. 跨层）在多大程度上影响风格迁移的定量性能？
• RQ3 风格损失函数的对称性特性如何影响输出结果的稳定性和质量？
• RQ4 EC图度量能否有效预测人类对风格迁移结果的偏好？
• RQ5 激进的风格权重是否能持续提升性能，还是因不稳定性导致性能下降？

主要发现

• 跨层Gram矩阵控制在效果与连贯性方面显著优于Gatys的层内方法，尤其在高风格权重下表现更优。
• EC图显示，Gatys方法因具有更大的对称群，可允许特征重标度与均值偏移，导致不稳定性，从而降低风格保真度（E值降低）与连贯性（C值降低）。
• 在Gatys方法中，激进的风格权重会降低效果与连贯性，但该现象在跨层方法中因对称群受限而未出现。
• 人类偏好研究表明，专业工人对图像的选择与高E与C值高度相关，当跨层方法达到更高得分时更受青睐。
• 普通工人的偏好也由高C值及ACG（跨层）方法的高E值所预测，使用E与C的逻辑回归模型经交叉验证后AUC约为0.85。
• 本研究提供了实验证据，表明跨层方法性能的提升直接源于其独特的对称群结构，从而避免了Gatys方法的不稳定性。