[论文解读] Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints

Gang Liu, Yann Gousseau+1 more|arXiv (Cornell University)|May 4, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 25

一句话总结

本文提出了一种新颖的纹理合成方法，通过结合卷积神经网络（CNN）特征与傅里叶频谱约束，生成具有连贯大尺度结构的逼真纹理。通过将频谱约束整合到CNN损失函数中，该方法在不增加计算成本的前提下，既保留了精细细节，又提升了砖墙和拼贴图案等准周期性图案的规律性，实现了无额外计算开销的最先进性能。

ABSTRACT

This paper presents a significant improvement for the synthesis of texture images using convolutional neural networks (CNNs), making use of constraints on the Fourier spectrum of the results. More precisely, the texture synthesis is regarded as a constrained optimization problem, with constraints conditioning both the Fourier spectrum and statistical features learned by CNNs. In contrast with existing methods, the presented method inherits from previous CNN approaches the ability to depict local structures and fine scale details, and at the same time yields coherent large scale structures, even in the case of quasi-periodic images. This is done at no extra computational cost. Synthesis experiments on various images show a clear improvement compared to a recent state-of-the art method relying on CNN constraints only.

研究动机与目标

• 解决基于CNN的纹理合成在保持大尺度规律性方面的局限性，特别是在砖墙或拼贴图案等准周期性纹理中。
• 改进现有仅使用CNN的方法，这些方法虽能生成逼真的局部细节，但难以维持全局结构一致性。
• 在不增加计算复杂度的前提下，将傅里叶频谱约束整合到CNN优化框架中。
• 实现真正新颖的纹理生成，避免直接复制示例图像块，同时保留精细细节与大尺度组织结构。

提出的方法

• 该方法将纹理合成建模为一个约束优化问题，结合CNN特征统计与傅里叶频谱约束。
• 采用预训练VGG-19网络各层特征图的相关矩阵作为基于CNN的约束，遵循Gatys等人（2016）的方法。
• 通过基于生成图像与示例图像之间傅里叶频谱距离的损失函数引入频谱约束，利用逆傅里叶变换计算。
• 总损失函数定义为CNN损失与频谱损失的加权和：$\mathcal{L} = \mathcal{L}_{CNN} + \beta \mathcal{L}_{spe}$，其中$\beta = 10^5$。
• 频谱损失的梯度计算为$\Delta_{spe} = \hat{I} - \tilde{I}$，其中$\tilde{I}$为目标频谱的逆傅里叶变换结果。
• 使用L-BFGS算法优化生成图像，将CNN与频谱两部分的梯度联合计算。

实验结果

研究问题

• RQ1 傅里叶频谱约束是否能提升基于CNN的纹理合成在全局结构一致性方面的表现，特别是在准周期性纹理中？
• RQ2 添加频谱约束是否会降低CNN在保留局部纹理细节方面的能力？
• RQ3 在CNN优化流程中集成频谱约束是否在计算上可行，且不会增加运行时间？
• RQ4 与最先进的仅基于CNN的方法相比，该方法在感知质量与结构保真度方面表现如何？
• RQ5 该方法是否能泛化到复杂非周期性纹理，同时在存在规律性结构时仍能提升其规律性？

主要发现

• 所提方法成功保留了CNN组件的细粒度细节与局部结构，同时显著提升了砖墙与拼贴图案等准周期性纹理的大尺度一致性。
• 与[14]中的仅CNN基线相比，所提方法在棋盘格、砖墙和带窗建筑等纹理上生成了更规则、更结构化的结果，全局组织结构中的伪影更少。
• 频谱约束未对CNN仅方法已表现良好的纹理产生性能下降，表明其具有鲁棒性与兼容性。
• 该方法保持了计算效率，每项合成实验在4核CPU上仅需约15分钟，原因在于FFT计算的开销相对于CNN推理可忽略不计。
• 对于Zellige瓷砖等复杂装饰图案，该方法提升了全局图案的一致性，尽管在高度不规则的结构中仍可能存在局部瑕疵。
• 在高度复杂纹理的失败案例中，该方法仍能生成结构化输出，但无法完全复现复杂的微小尺度元素。