[论文解读] Preserving Color in Neural Artistic Style Transfer

Leon A. Gatys, Matthias Bethge+2 more|arXiv (Cornell University)|Jun 19, 2016

Aesthetic Perception and Analysis参考文献 4被引用 128

一句话总结

本笔记为神经风格迁移添加了两种简单的颜色保留方法：将颜色直方图匹配到风格图像以及仅亮度的风格迁移。

ABSTRACT

This note presents an extension to the neural artistic style transfer algorithm (Gatys et al.). The original algorithm transforms an image to have the style of another given image. For example, a photograph can be transformed to have the style of a famous painting. Here we address a potential shortcoming of the original method: the algorithm transfers the colors of the original painting, which can alter the appearance of the scene in undesirable ways. We describe simple linear methods for transferring style while preserving colors.

研究动机与目标

• 推动并解决神经风格迁移中不希望出现的颜色迁移问题。
• 提出在风格化过程中保持内容图像颜色的实用方法。
• 评估颜色准确性与风格化保真度之间的权衡。

提出的方法

• 颜色直方图匹配：使用一个线性颜色变换 (A 和 b) 将风格图像的颜色转换为与内容图像统计量一致，以使均值和协方差相等。
• A 的两种变体：基于 Cholesky 分解和基于图像类比的，通常更倾向于图像类比。
• 提供在风格迁移之后再进行颜色迁移的选项，而非之前迁移，在某些情况下可获得更好结果。
• 仅对亮度通道(Y)进行风格迁移，然后与内容颜色通道结合，可能先对亮度进行直方图匹配。

实验结果

研究问题

• RQ1 在不牺牲风格纹理的前提下，颜色保留是否能够提升神经风格迁移的感知保真度？
• RQ2 在多样化的风格图像中，哪种颜色保留方法能产生更好的视觉效果：迁移前的颜色匹配还是仅亮度的迁移？
• RQ3 在保留内容颜色与保持风格驱动的亮度-纹理关系之间存在哪些权衡？

主要发现

• 将颜色直方图匹配到风格图像可以保留内容颜色，但可能无法完美匹配所有颜色。
• 仅亮度的迁移可以精确保持内容颜色，但可能会将亮度与颜色分离，影响笔触对齐。
• 迁移前的颜色匹配通常在颜色约束下更忠实地再现风格纹理。
• 仅亮度的迁移降低了优化维度，但可能丢失亮度与颜色之间的依赖关系。