[论文解读] Texture Synthesis Using Shallow Convolutional Networks with Random Filters

Ivan Ustyuzhaninov, Wieland Brendel+2 more|arXiv (Cornell University)|May 31, 2016

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 32

一句话总结

该论文表明，仅使用随机未训练滤波器的浅层卷积神经网络能够有效建模并合成具有与最先进方法相当或更优感知质量的自然纹理。通过仅使用单个卷积层与随机滤波器，并优化特征统计量（Gram矩阵），该方法在简化网络结构、无需监督训练的前提下，实现了高感知保真度。

ABSTRACT

Here we demonstrate that the feature space of random shallow convolutional neural networks (CNNs) can serve as a surprisingly good model of natural textures. Patches from the same texture are consistently classified as being more similar then patches from different textures. Samples synthesized from the model capture spatial correlations on scales much larger then the receptive field size, and sometimes even rival or surpass the perceptual quality of state of the art texture models (but show less variability). The current state of the art in parametric texture synthesis relies on the multi-layer feature space of deep CNNs that were trained on natural images. Our finding suggests that such optimized multi-layer feature spaces are not imperative for texture modeling. Instead, much simpler shallow and convolutional networks can serve as the basis for novel texture synthesis algorithms.

研究动机与目标

• 探究仅使用随机未训练滤波器的浅层、未训练卷积网络是否可作为有效的纹理合成模型。
• 挑战当前普遍认为多层、预训练深度网络对高质量纹理合成必不可少的假设。
• 评估随机特征空间是否能够捕捉足够的空间相关性与统计特性，以实现感知上令人信服的纹理生成。
• 探索在使用简单、非优化特征空间时，感知质量与纹理多样性之间的权衡。

提出的方法

• 使用单层卷积神经网络，激活函数为ReLU，采用步长为1的卷积操作，并通过零填充保持空间维度不变。
• 滤波器从均匀分布中随机初始化，或源自傅里叶基函数、ImageNet图像块的k-means聚类，或自然图像块的主成分分析（PCA）。
• 通过优化生成图像，使其匹配随机网络层的特征激活的Gram矩阵，实现纹理合成。
• 优化过程采用基于特征统计的感知距离度量，将Gram矩阵视为软约束而非硬约束。
• 测试了多种滤波器配置，包括固定尺寸（11×11×3）和多尺度滤波器（3×3至55×55），并调整特征图数量（363至3267）。
• 输入图像通过减去每通道的平均强度进行预处理，以去除直流分量。

实验结果

研究问题

• RQ1 仅使用随机未训练滤波器的单层卷积网络能否生成在感知上与真实纹理无法区分的纹理？
• RQ2 深度网络的分层多层表示对高质量纹理合成是否仍为必要？
• RQ3 使用随机滤波器的合成在感知质量上与基于深度预训练网络的最先进模型相比如何？
• RQ4 随机特征空间在多大程度上能保留纹理中的长程空间相关性？
• RQ5 优化过程在利用简单特征空间实现高感知质量方面起到何种作用？

主要发现

• 使用随机滤波器的浅层卷积网络在纹理合成质量上达到或超过基于深度预训练VGG网络的最先进方法。
• 该模型成功捕捉了超过感受野尺寸的多尺度空间相关性，表明长程结构被编码在随机特征空间中。
• 在人类感知评估中，随机滤波器生成的纹理通常优于训练网络生成的纹理，尤其在与参考纹理的保真度方面表现更优。
• 使用随机滤波器且无需任何训练即可实现高感知相似性，表明监督微调深度特征并非实现有效纹理建模的必要条件。
• 该方法表明，少量约束（Gram矩阵）即可产生高质量结果，但感知质量的关键取决于距离度量的选择与优化调参。
• 经验性证据表明，某些参考纹理在合成过程中可被精确重建，表明在有限尺寸条件下，约束空间可能允许精确匹配。