[论文解读] Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures

Mohamed El Amine Seddik, Cosme Louart+2 more|arXiv (Cornell University)|Jan 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 20

一句话总结

该论文表明，由于测度集中现象，在高维情况下，生成对抗网络（GAN）生成数据的深度学习表征渐近地表现为高斯混合模型（GMM）。利用随机矩阵理论（RMT），论文证明了这些表征的格拉姆矩阵的谱特性仅取决于一阶和二阶统计量，这意味着线性分类器可以完全表征其行为。

ABSTRACT

This paper shows that deep learning (DL) representations of data produced by generative adversarial nets (GANs) are random vectors which fall within the class of so-called extit{concentrated} random vectors. Further exploiting the fact that Gram matrices, of the type $G = X^T X$ with $X=[x_1,\ldots,x_n]\in \mathbb{R}^{p imes n}$ and $x_i$ independent concentrated random vectors from a mixture model, behave asymptotically (as $n,p o \infty$) as if the $x_i$ were drawn from a Gaussian mixture, suggests that DL representations of GAN-data can be fully described by their first two statistical moments for a wide range of standard classifiers. Our theoretical findings are validated by generating images with the BigGAN model and across different popular deep representation networks.

研究动机与目标

• 理论表征高维设置下生成对抗网络（GAN）生成数据的深度学习表征的统计行为。
• 研究在渐近条件下，从这些表征中导出的格拉姆矩阵的谱特性是否可由高斯混合模型（GMM）描述。
• 验证这种行为在不同深度神经网络架构和数据类型（包括真实ImageNet图像）下的普遍性。
• 确立仅第一阶和第二阶矩即可充分描述标准线性分类器在这些表征上的性能。

提出的方法

• 使用随机矩阵理论（RMT）进行理论分析，研究格拉姆矩阵 G = X^T X 的渐近谱分布，其中 X 包含 GAN 生成数据的深度表征。
• 利用测度集中现象，将 GAN 数据的深度学习表征建模为 q-指数集中随机向量。
• 应用 RMT 中关于样本协方差矩阵的结果，推导出在数据向量集中假设下，G 的极限谱分布。
• 分析表明，G 的特征值分布和主特征子空间在渐近意义上等价于具有相同均值和协方差的 GMM 的特征值分布和主特征子空间。
• 理论推导依赖于斯蒂尔杰斯变换和预解式技术，使用恒等式 R(z) = z^{-1}(I - X^T Q(z) X / p)，其中 Q(z) = (XX^T / p + zI_p)^{-1}。
• 通过在 BigGAN 生成的图像上使用 ResNet50、VGG16 和 DenseNet201 的卷积神经网络特征，进行经验验证，将谱特性和特征子空间行为与具有相同一阶和二阶统计量的 GMM 进行比较。

实验结果

研究问题

• RQ1 在高维极限下，GAN 生成数据的深度学习表征是否表现出与高斯混合模型（GMM）等价的谱行为？
• RQ2 表征的一阶和二阶统计矩（均值和协方差）在多大程度上能完全表征线性分类器在 GAN 数据上的性能？
• RQ3 真实 ImageNet 图像的格拉姆矩阵的渐近谱行为是否与具有相同矩的 GMM 匹配，从而表明其普遍性？
• RQ4 随机矩阵理论（RMT）能否准确预测来自复杂生成模型（如 GAN）的深度表征的谱特性？
• RQ5 测度集中现象在实现深度表征中 GMM 类行为普遍性方面起什么作用？

主要发现

• 由于神经网络映射的利普希茨性质，GAN 生成数据的深度学习表征是 q-指数集中随机向量。
• 在渐近情形（n, p → ∞ 且 p/n → c < ∞）下，这些表征的格拉姆矩阵 G = X^T X 的谱分布收敛于具有相同均值和协方差的 GMM 的谱分布。
• 在 GAN 表征上计算的格拉姆矩阵的主特征子空间在渐近意义上等价于具有相同一阶和二阶统计量的 GMM 的主特征子空间。
• 在 BigGAN 生成图像和真实 ImageNet 图像上的实证结果表明，卷积神经网络特征的格拉姆矩阵的谱和主特征子空间与具有相同矩的 GMM 密切匹配。
• 研究证实，对于线性分类器，深度表征的一阶和二阶统计量足以预测其性能，表明在满足集中性的数据分布下具有普遍行为。
• 基于 RMT 的理论框架成功预测了标准机器学习算法（如谱聚类、LS-SVM）在复杂深度表征上的行为，验证了其实际相关性。