[论文解读] Optimal Textures: Fast and Robust Texture Synthesis and Style Transfer through Optimal Transport

Eric Risser|arXiv (Cornell University)|Oct 27, 2020

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

该论文提出了一种快速、鲁棒的纹理合成与风格迁移方法，利用最优传输技术匹配自编码器瓶颈层中深层神经激活特征的一阶统计量。通过迭代对 N 维概率密度函数进行切片直方图匹配，该方法在无需反向传播的情况下实现了高质量结果，支持交互式性能，并统一处理了风格迁移、纹理混合以及用户引导的合成。

ABSTRACT

This paper presents a light-weight, high-quality texture synthesis algorithm that easily generalizes to other applications such as style transfer and texture mixing. We represent texture features through the deep neural activation vectors within the bottleneck layer of an auto-encoder and frame the texture synthesis problem as optimal transport between the activation values of the image being synthesized and those of an exemplar texture. To find this optimal transport mapping, we utilize an N-dimensional probability density function (PDF) transfer process that iterates over multiple random rotations of the PDF basis and matches the 1D marginal distributions across each dimension. This achieves quality and flexibility on par with expensive back-propagation based neural texture synthesis methods, but with the potential of achieving interactive rates. We demonstrate that first order statistics offer a more robust representation for texture than the second order statistics that are used today. We propose an extension of this algorithm that reduces the dimensionality of the neural feature space. We utilize a multi-scale coarse-to-fine synthesis pyramid to capture and preserve larger image features; unify color and style transfer under one framework; and further augment this system with a novel masking scheme that re-samples and re-weights the feature distribution for user-guided texture painting and targeted style transfer.

研究动机与目标

• 解决基于反向传播的神经纹理合成方法存在的速度慢、难以实时应用的局限性。
• 克服现有方法对二阶统计量（如格拉姆矩阵）的依赖，后者鲁棒性较差且难以保留结构化纹理特征。
• 开发一个统一框架，泛化于多种纹理合成任务，包括风格迁移、纹理混合和逆向纹理合成。
• 通过新颖的掩码与重加权方案，直接修改特征分布，实现用户引导的纹理合成。
• 通过在特征空间中直接使用最优传输，以极低计算成本实现高质量视觉效果。

提出的方法

• 将纹理特征表示为预训练自编码器瓶颈层中的深层激活向量，避免自定义训练的需要。
• 将纹理合成建模为噪声图像的特征分布与样本纹理特征分布之间的最优传输问题。
• 通过迭代的、基于随机旋转的切片方法实现 N 维概率密度函数（PDF）变换，匹配各维度上的 1D 边际分布。
• 利用主成分分析（PCA）降低特征维度，同时保留关键纹理统计量，以加速处理过程。
• 构建多尺度的粗到细合成金字塔，以保留大尺度图像结构并提升感知质量。
• 引入掩码方案，根据用户绘制的掩码重新采样并重加权特征分布，实现引导式纹理绘制与目标风格迁移。

实验结果

研究问题

• RQ1 与格拉姆矩阵等二阶统计量相比，深层神经特征的一阶统计量是否能提供更鲁棒、更有效的纹理合成表征？
• RQ2 在不依赖反向传播或微调的情况下，特征分布之间的最优传输是否能够实现高质量的纹理合成？
• RQ3 基于最优传输的单一统一框架是否能够泛化于多种纹理合成任务，包括风格迁移、纹理混合和逆向合成？
• RQ4 如何通过特征分布操作有效整合用户控制到合成过程中？
• RQ5 所提方法是否能在保持与昂贵优化方法相当的视觉质量的同时实现交互式性能？

主要发现

• 使用 PCA 时，该方法在 23 秒内即可完成 1024×1024 图像的高质量纹理合成，而基于反向传播的方法则需数十分钟。
• 与 WCT 及其他基于格拉姆矩阵的方法相比，一阶统计量在保留结构化纹理特征和减少混合伪影方面表现更优。
• 最优传输框架将风格与色彩迁移统一于单一算法中，无需分别处理色彩与风格分量。
• 通过最优传输实现的纹理混合，相比现有方法，产生更均匀且更符合感知的插值效果。
• 通过特征重采样与重加权实现的用户引导合成，仅需极少算法改动即可实现对纹理位置与风格应用的精确控制。
• 通过多切片捕捉更细致的特征分布，该方法减少了 WCT 中常见的特征模糊与混合伪影。