[论文解读] Statistics of Deep Generated Images

Yu Zeng, Huchuan Lu+1 more|arXiv (Cornell University)|Aug 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 11

一句话总结

本文研究了最先进的深度生成模型（VAE、DCGAN 和 WGAN）在 ImageNet 和卡通数据集上生成图像的低层次统计特性。研究发现，尽管这些模型再现了非高斯性和 Weibull 对比度分布，但未能捕捉到尺度不变的均值功率谱，表明生成图像中存在人工的周期性模式。

ABSTRACT

Here, we explore the low-level statistics of images generated by state-of-the-art deep generative models. First, Variational auto-encoder (VAE~\cite{kingma2013auto}), Wasserstein generative adversarial network (WGAN~\cite{arjovsky2017wasserstein}) and deep convolutional generative adversarial network (DCGAN~\cite{radford2015unsupervised}) are trained on the ImageNet dataset and a large set of cartoon frames from animations. Then, for images generated by these models as well as natural scenes and cartoons, statistics including mean power spectrum, the number of connected components in a given image area, distribution of random filter responses, and contrast distribution are computed. Our analyses on training images support current findings on scale invariance, non-Gaussianity, and Weibull contrast distribution of natural scenes. We find that although similar results hold over cartoon images, there is still a significant difference between statistics of natural scenes and images generated by VAE, DCGAN and WGAN models. In particular, generated images do not have scale invariant mean power spectrum magnitude, which indicates existence of extra structures in these images. Inspecting how well the statistics of deep generated images match the known statistical properties of natural images, such as scale invariance, non-Gaussianity, and Weibull contrast distribution, can a) reveal the degree to which deep learning models capture the essence of the natural scenes, b) provide a new dimension to evaluate models, and c) allow possible improvement of image generative models (e.g., via defining new loss functions).

研究动机与目标

• 评估深度生成模型（VAE、DCGAN、WGAN）在多大程度上再现了自然图像的低层次统计特性。
• 探究深度模型生成的图像是否匹配自然场景中已知的统计规律，例如尺度不变性、非高斯性以及 Weibull 对比度分布。
• 比较自然图像、卡通图像与深度生成图像的统计特性，以评估模型的泛化能力与局限性。
• 基于与自然图像统计特性的统计保真度，提出一种生成模型的新评估维度。
• 通过功率谱分析识别生成图像中的结构性伪影，特别是周期性模式。

提出的方法

• 在 ImageNet 和大规模卡通数据集上训练 VAE、DCGAN 和 WGAN，以生成用于统计分析的图像。
• 计算均值功率谱幅值以评估尺度不变性，分析 4/128、8/128 等频率分量，揭示周期性模式。
• 分析亮度和对比度分布，发现自然图像与生成图像均符合 Weibull 分布。
• 使用峰度与高阶统计量评估非高斯性，确认所有图像类型均偏离高斯分布。
• 量化连通分量统计与随机滤波器响应，以比较不同图像类型的结构复杂度。
• 对 12,800 幅生成图像取平均，以在空间域中可视化周期性伪影，确认存在结构性噪声。

实验结果

研究问题

• RQ1 深度生成模型（VAE、DCGAN、WGAN）是否再现了自然图像特有的尺度不变均值功率谱？
• RQ2 生成图像在多大程度上匹配自然场景中观察到的非高斯性与 Weibull 对比度分布？
• RQ3 卡通图像的统计特性与自然图像及深度生成图像相比如何？
• RQ4 深度生成图像中是否存在偏离自然图像统计特性的可检测结构性伪影？
• RQ5 统计上与自然图像的相似性能否作为生成模型的新评估指标？

主要发现

• 自然图像表现出尺度不变的均值功率谱，满足 $||A(f)|| \propto 1/f^{\alpha}$，但深度生成图像不具备此特性，其在 4/128 频率的整数倍处出现局部极大值。
• 生成图像的均值功率谱揭示了周期性模式，空间周期为 32、16、8、4 和 2 像素，通过平均 12,800 幅生成图像可视化。
• VAE、DCGAN 和 WGAN 生成的图像均表现出显著的非高斯性，与自然图像的非高斯行为一致。
• 生成图像中的对比度分布符合 Weibull 分布，与自然图像相似，表明部分统计保真度。
• 尽管匹配了非高斯性与 Weibull 对比度分布，生成图像仍未能再现尺度不变性，表明存在根本性的统计不匹配。
• t 统计量与 p 值分析证实，生成图像的均值功率谱幅值与自然图像存在显著差异（大多数比较的 p < 0.0001），尤其在高频范围更为显著。