[论文解读] Wasserstein Style Transfer

Youssef Mroueh|arXiv (Cornell University)|May 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 8

一句话总结

本文提出一种基于高斯最优传输的Wasserstein风格迁移方法，采用编码器/解码器框架，通过特征空间中高斯测度的Wasserstein中位数实现风格混合与插值。该方法实现了平滑且具有几何意义的风格插值，相较于AdaIN等基线方法在捕捉细微风格细节方面表现更优，性能受测地线度量选择（Wasserstein与Fisher-Rao）的影响而异。

ABSTRACT

We propose Gaussian optimal transport for Image style transfer in an Encoder/Decoder framework. Optimal transport for Gaussian measures has closed forms Monge mappings from source to target distributions. Moreover interpolates between a content and a style image can be seen as geodesics in the Wasserstein Geometry. Using this insight, we show how to mix different target styles , using Wasserstein barycenter of Gaussian measures. Since Gaussians are closed under Wasserstein barycenter, this allows us a simple style transfer and style mixing and interpolation. Moreover we show how mixing different styles can be achieved using other geodesic metrics between gaussians such as the Fisher Rao metric, while the transport of the content to the new interpolate style is still performed with Gaussian OT maps. Our simple methodology allows to generate new stylized content interpolating between many artistic styles. The metric used in the interpolation results in different stylizations.

研究动机与目标

• 解决现有风格迁移方法受限于单风格迁移或在插值过程中无法捕捉细微风格细节的局限性。
• 在假设特征分布为高斯分布的前提下，形式化建立常用归一化层（如IN、AdaIN、WCT）与最优传输映射之间的联系。
• 探索在高斯测度的Wasserstein几何空间中使用测地线度量实现非线性风格插值，以超越特征空间中的线性插值。
• 研究在协方差上使用不同基度量（如Wasserstein、Fisher-Rao）对混合艺术风格的质量与特征的影响。
• 证明高斯最优传输可作为迭代优化的闭式高效替代方案，实现快速推理并获得高质量结果。

提出的方法

• 采用编码器/解码器框架，将图像映射至深层CNN特征空间，并将空间特征分布视为经验测度。
• 应用高斯最优传输（GOT）计算从内容到目标风格分布的闭式Monge映射，假设特征分布近似为高斯分布。
• 利用高斯测度的Wasserstein中位数在特征空间中对多个风格图像进行插值，定义新型混合风格。
• 将方法扩展至其他测地线度量（如Fisher-Rao度量），以探索高斯分布空间中的替代插值路径。
• 通过在多分辨率下应用传输映射并进行解码，实现粗到细的风格迁移，每个层级均使用从内容到插值风格的传输映射。
• 利用高斯测度在Wasserstein中位数下封闭的性质，实现无需优化的精确且高效的插值风格计算。

实验结果

研究问题

• RQ1 能否利用高斯最优传输映射在深层特征空间中定义高效且闭式的风格迁移？
• RQ2 使用高斯测度的Wasserstein中位数如何实现跨多种艺术风格的有意义且视觉连贯的风格混合？
• RQ3 测地线度量选择（如Wasserstein与Fisher-Rao）对插值风格的视觉质量与特征有何影响？
• RQ4 在高斯假设下，IN、CIN、AdaIN和WCT等常见归一化层在多大程度上近似最优传输映射？
• RQ5 在高斯测度的Wasserstein空间中进行几何插值，是否能超越线性或对角近似，在捕捉复杂风格细节方面表现更优？

主要发现

• 所提方法通过闭式高斯最优传输映射，在多艺术风格间实现了高质量的风格迁移与平滑插值。
• Wasserstein中位数插值产生更平滑的风格过渡，而Fisher-Rao中位数更有效地保留了笔触结构与色彩变化。
• 该方法在捕捉复杂纹理与色彩渐变等细微风格细节方面，优于基于AdaIN的基线方法。
• 使用Wasserstein与Fisher-Rao度量的测地线插值生成了视觉上显著不同但连贯的新风格，表明底层度量对风格化结果具有显著影响。
• 实验表明，IN、CIN、AdaIN与WCT等归一化层可近似为高斯最优传输映射，为这些层的行为提供了新的理论解释。
• 该框架实现了快速、前馈式多风格插值风格迁移，在风格混合质量方面达到当前最优性能。