[论文解读] Texture Synthesis Using Convolutional Neural Networks

Leon A. Gatys, Alexander S. Ecker+1 more|arXiv (Cornell University)|May 27, 2015

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 425

一句话总结

该论文提出了一种基于预训练卷积神经网络（VGG-19）特征表示的新型参数化纹理合成模型，通过优化噪声图像以匹配多层特征图的格拉姆矩阵来生成纹理。该方法生成的纹理质量高、感知真实感强，优于以往的参数化模型，同时揭示了深度网络中的层次特征如何编码越来越明确的物体信息。

ABSTRACT

Here we introduce a new model of natural textures based on the feature spaces of convolutional neural networks optimised for object recognition. Samples from the model are of high perceptual quality demonstrating the generative power of neural networks trained in a purely discriminative fashion. Within the model, textures are represented by the correlations between feature maps in several layers of the network. We show that across layers the texture representations increasingly capture the statistical properties of natural images while making object information more and more explicit. The model provides a new tool to generate stimuli for neuroscience and might offer insights into the deep representations learned by convolutional neural networks.

研究动机与目标

• 开发一种新型参数化纹理模型，其感知质量超越现有方法。
• 利用预训练CNN的层次特征空间进行纹理表征与合成。
• 探究CNN中的深层特征如何同时编码纹理统计特性与物体身份信息。
• 通过基于深度网络表征生成刺激，为神经科学提供一种新工具。

提出的方法

• 该模型使用预训练VGG-19网络多个卷积层的特征图格拉姆矩阵来表征纹理统计特性。
• 通过梯度下降优化噪声图像，使其在选定层上匹配原始纹理的格拉姆矩阵，实现纹理合成。
• 损失函数为基于格拉姆矩阵差异的各层重建误差的加权和。
• 仅使用卷积层，保留空间不变性，支持生成任意尺寸的纹理。
• 该方法依赖于CNN的层次化、非线性特征提取能力，深层特征图捕捉更复杂的统计模式。
• 优化过程为迭代且可微，支持高保真纹理生成。

实验结果

研究问题

• RQ1 能否利用深度卷积神经网络特征构建一种参数化纹理模型，以生成感知真实的纹理？
• RQ2 CNN特征空间中的纹理统计表征与传统模型（如Portilla-Simoncelli）相比如何？
• RQ3 CNN的深层在编码纹理统计特性的同时，能在多大程度上保留物体身份信息？
• RQ4 CNN特征的格拉姆矩阵能否作为纹理合成与分析的稳定、不变表征？

主要发现

• 所提方法生成的纹理在感知质量上可与非参数化方法相媲美，显著优于以往的参数化模型。
• 在人类感知测试中，合成纹理与真实纹理难以区分，证明了该模型强大的生成能力。
• 各层格拉姆矩阵表征能捕捉自然图像中日益复杂的统计特性，深层特征图编码了更明确的物体身份信息。
• 从最终池化层的格拉姆矩阵进行线性解码，达到87.7%的top-5准确率，接近原始网络的88.6%性能。
• 该模型揭示了物体身份信息在特征空间中独立于空间布局被保留，与CNN的平移等变性一致。
• 该方法计算开销较大，但受益于深度学习推理技术的持续进步，预示着未来具备良好的可扩展性。