[论文解读] Style-Aware Normalized Loss for Improving Arbitrary Style Transfer

Jiaxin Cheng, Ayush Jaiswal+3 more|arXiv (Cornell University)|Apr 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 4

一句话总结

本文提出一种风格感知的归一化损失，以解决任意风格迁移（AST）中风格迁移能力不平衡（IST）的问题，该问题源于训练过程中对风格损失采用相等加权，导致模型在迁移时出现过度或不足风格化。通过推导风格损失的理论边界并引入风格感知归一化，该方法在四种AST模型上实现了欺骗率111%的相对提升，以及人类偏好度98%的提升。

ABSTRACT

Neural Style Transfer (NST) has quickly evolved from single-style to infinite-style models, also known as Arbitrary Style Transfer (AST). Although appealing results have been widely reported in literature, our empirical studies on four well-known AST approaches (GoogleMagenta, AdaIN, LinearTransfer, and SANet) show that more than 50% of the time, AST stylized images are not acceptable to human users, typically due to under- or over-stylization. We systematically study the cause of this imbalanced style transferability (IST) and propose a simple yet effective solution to mitigate this issue. Our studies show that the IST issue is related to the conventional AST style loss, and reveal that the root cause is the equal weightage of training samples irrespective of the properties of their corresponding style images, which biases the model towards certain styles. Through investigation of the theoretical bounds of the AST style loss, we propose a new loss that largely overcomes IST. Theoretical analysis and experimental results validate the effectiveness of our loss, with over 80% relative improvement in style deception rate and 98% relatively higher preference in human evaluation.

研究动机与目标

• 探究任意风格迁移（AST）模型中风格迁移能力不平衡（IST）的根本原因。
• 识别出在不同风格间采用相同样本损失加权的方式，会使模型偏向某些特定风格。
• 开发一种理论基础坚实的、风格感知的损失函数，根据每种风格的特定属性对训练损失进行归一化。
• 通过在四个最先进AST模型上进行广泛的基准测试和人类评估，验证新损失的有效性。
• 提升损失优化与人类对风格化质量感知之间的一致性。

提出的方法

• 作者分析了传统基于Gram矩阵的风格损失的理论边界，并推导其在不同风格特征下的期望值。
• 提出一种新型的风格感知归一化损失，根据每张风格图像的内在属性重新加权样本级风格损失，确保训练过程中各损失贡献均衡。
• 通过从风格图像特征统计中学习或估计的尺度因子，对每个样本的风格损失进行归一化。
• 新损失可无缝集成到现有AST框架中，无需架构修改，实现即插即用的性能提升。
• 理论分析表明，新损失与人类感知呈正相关，而经典损失则不然。
• 该方法在ImageNet和PBN/DTD数据集上通过欺骗率和人类偏好度研究进行了评估。

Figure 2 : Distribution of classic Gram matrix-based style losses for four AST methods [ 14 , 19 , 29 , 37 ] . Smaller loss does not guarantee better style transfer (left two images) while high quality transferred images can have larger style losses (middle two images), with over-stylized images cou

实验结果

研究问题

• RQ1 为何最先进AST模型在多样化风格间泛化能力差，常产生风格化不足或过度的输出？
• RQ2 传统风格损失为何无法反映人类对风格化质量的感知？
• RQ3 在训练过程中，为何不同风格图像之间的风格迁移能力（IST）存在不平衡？
• RQ4 是否可以通过理论基础坚实的、风格感知的风格损失归一化，改善训练的平衡性与输出质量？
• RQ5 所提出的损失是否在多个AST模型及欺骗率和人类偏好度等指标上均有效？

主要发现

• 所提出的风格感知归一化损失在所有测试的AST模型中，欺骗率实现了111%的相对提升，其中LinearTransfer模型的增益最高，达到111%。
• 人类评估显示，55.9%的偏好选择使用新损失生成的风格化图像，相比经典损失提升了98%的相对偏好度。
• 新损失与人类感知呈正相关，而经典损失则无法反映人类评估得分。
• 该方法有效缓解了AST中的风格化不足和过度风格化问题，将不可接受的输出比例降低至所有模型的50%以下。
• 理论分析证实，新损失通过考虑特征分布中风格特异性方差，更准确地反映了真实风格迁移质量。
• 该损失具有普适性，在四种不同AST模型（GoogleMagenta、AdaIN、LinearTransfer和SANet）中均提升了性能。

Figure 3 : Statistics of human perception of stylization quality as assessed in Study II.