[论文解读] The Geometry of Deep Generative Image Models and its Applications

Binxu Wang, Carlos R. Ponce|arXiv (Cornell University)|Jan 15, 2021

Generative Adversarial Networks and Image Synthesis被引用 21

一句话总结

本文提出一种基于几何的框架，通过基于海森矩阵的特征分解计算图像流形的黎曼度量，以分析深度生成图像模型（GAN）的潜在空间。结果表明，GAN的潜在空间具有高度各向异性和同质性，主特征向量对应于可解释的图像变换，从而实现高效的GAN反演和无需结构假设的无监督有意义方向发现。

ABSTRACT

Generative adversarial networks (GANs) have emerged as a powerful unsupervised method to model the statistical patterns of real-world data sets, such as natural images. These networks are trained to map random inputs in their latent space to new samples representative of the learned data. However, the structure of the latent space is hard to intuit due to its high dimensionality and the non-linearity of the generator, which limits the usefulness of the models. Understanding the latent space requires a way to identify input codes for existing real-world images (inversion), and a way to identify directions with known image transformations (interpretability). Here, we use a geometric framework to address both issues simultaneously. We develop an architecture-agnostic method to compute the Riemannian metric of the image manifold created by GANs. The eigen-decomposition of the metric isolates axes that account for different levels of image variability. An empirical analysis of several pretrained GANs shows that image variation around each position is concentrated along surprisingly few major axes (the space is highly anisotropic) and the directions that create this large variation are similar at different positions in the space (the space is homogeneous). We show that many of the top eigenvectors correspond to interpretable transforms in the image space, with a substantial part of eigenspace corresponding to minor transforms which could be compressed out. This geometric understanding unifies key previous results related to GAN interpretability. We show that the use of this metric allows for more efficient optimization in the latent space (e.g. GAN inversion) and facilitates unsupervised discovery of interpretable axes. Our results illustrate that defining the geometry of the GAN image manifold can serve as a general framework for understanding GANs.

研究动机与目标

• 开发一种与网络架构无关的方法，用于分析GAN生成图像流形的几何结构。
• 解决理解高维、非线性潜在空间的挑战，该挑战限制了可解释性和优化能力。
• 通过揭示黎曼度量的主特征向量对应于有意义的图像变换，统一先前关于GAN中可解释解耦方向的研究。
• 通过从度量张量导出的几何先验，实现更高效的GAN反演和无监督可解释轴的发现。
• 提供一种事后分析工具，用于理解GAN，而无需重新训练或使用编码器网络。

提出的方法

• 通过微分图像距离函数对潜在码 $\mathbf{z}$ 的依赖关系，利用生成器输出的海森矩阵，计算GAN生成图像流形的黎曼度量张量 $H$。
• 在潜在空间的多个点上对度量张量 $H$ 进行特征分解，以识别图像变化的主要方向。
• 定义图像空间中的黎曼距离，并将其回传至潜在空间，以构建微分几何结构。
• 将该方法应用于预训练的GAN（如StyleGAN2、BigGAN），无需编码器网络或架构修改。
• 利用 $H$ 的特征谱和特征向量识别并排序可解释的图像变换，其中较大的特征值表示更大的图像可变性。
• 通过测量所识别轴在主特征子空间上的投影能力，将该方法的结果与先前工作（如Peebles等，2020）进行比较。

实验结果

研究问题

• RQ1 GAN生成的图像流形的内在几何结构是什么，特别是其各向异性和同质性如何？
• RQ2 潜在空间中变化的主要方向如何与可解释的图像变换（如人脸属性、颜色、形状变化）相关联？
• RQ3 是否能够以独立于网络架构的方式，高效且准确地计算GAN流形的黎曼度量张量？
• RQ4 先前识别出的可解释轴在多大程度上与基于海森矩阵的度量张量的主特征向量对齐？
• RQ5 从度量张量获得的几何洞见在改善下游任务（如GAN反演和无监督解耦）方面能发挥多大作用？

主要发现

• GAN生成的图像流形具有高度各向异性，即使在潜在空间的不同位置，图像变化也集中在极少数主要轴上。
• 该空间具有同质性，因为度量张量的主导特征向量在不同潜在码位置上相似，表明变换方向具有一致性。
• 主特征子空间的相当大一部分对应于可解释的图像变换（如人脸属性、颜色、形状），而次要分量可被压缩。
• 前10个特征向量捕获了大多数先前工作中识别出的可解释轴超过95%的能量，且在90%的情况下投影能力超过0.95。
• 该方法在每个点上计算海森矩阵及其特征分解仅需12秒，显著快于其他需要每轮迭代优化40分钟的方法。
• 先前工作中被识别为可解释的轴在主特征子空间中具有高度对齐性（平均投影能力0.95±0.05），而非可解释轴在前10维特征子空间中的投影能力仅为0.103±0.141。