[论文解读] On the Convergence of Gradient Descent in GANs: MMD GAN As a Gradient Flow

Youssef Mroueh, Truyen Nguyen|arXiv (Cornell University)|Nov 4, 2020

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种用于MMD GAN的参数化核化梯度流，通过在生成器分布的统计流形上引入一种新颖的黎曼结构，确保梯度下降能全局收敛至目标数据分布。关键贡献在于证明了使用MMD_{\alpha,\beta}判别函数的梯度下降对应于该新几何框架下MMD泛函的梯度流，并在明确条件下提供了非渐近收敛保证。

ABSTRACT

We consider the maximum mean discrepancy ($\\mathrm{MMD}$) GAN problem and propose a parametric kernelized gradient flow that mimics the min-max game in gradient regularized $\\mathrm{MMD}$ GAN. We show that this flow provides a descent direction minimizing the $\\mathrm{MMD}$ on a statistical manifold of probability distributions. We then derive an explicit condition which ensures that gradient descent on the parameter space of the generator in gradient regularized $\\mathrm{MMD}$ GAN is globally convergent to the target distribution. Under this condition, we give non asymptotic convergence results of gradient descent in MMD GAN. Another contribution of this paper is the introduction of a dynamic formulation of a regularization of $\\mathrm{MMD}$ and demonstrating that the parametric kernelized descent for $\\mathrm{MMD}$ is the gradient flow of this functional with respect to the new Riemannian structure. Our obtained theoretical result allows ones to treat gradient flows for quite general functionals and thus has potential applications to other types of variational inferences on a statistical manifold beyond GANs. Finally, numerical experiments suggest that our parametric kernelized gradient flow stabilizes GAN training and guarantees convergence.

研究动机与目标

• 理解MMD GAN中梯度下降的分布收敛特性，尽管其在实践中表现良好，但相关理论仍不清晰。
• 解决GAN中梯度下降缺乏严格收敛分析的问题，特别是在基于MMD的目标函数背景下。
• 提出一种新的参数化能量正则化器MMD_{\alpha,\beta}，其作用于生成器参数而非输入空间。
• 在统计流形上推导MMD的动态表述，并定义一种新的黎曼度量d_{\alpha,\beta}以构建梯度流的几何结构。
• 在明确条件下，建立MMD GAN中梯度下降的非渐近收敛结果。

提出的方法

• 提出一种参数化核化梯度流，模拟梯度正则化MMD GAN中的极小极大博弈，使用MMD_{\alpha,\beta}判别函数作为下降方向。
• 引入一种新的正则化器MMD_{\alpha,\beta}，其通过参数化能量定义，梯度对生成器参数计算，而非对输入空间。
• 在统计流形上推导MMD的动态表述，并构建黎曼度量张量d_{\alpha,\beta}以定义新的几何结构。
• 证明由MMD_{\alpha,\beta}判别函数驱动的MMD GAN梯度下降流，等价于在d_{\alpha,\beta}度量下MMD泛函的梯度流。
• 通过分析流中MMD泛函的衰减，建立非渐近收敛界，条件涉及特征值和核参数。
• 采用离散算法，对判别函数（通过v或p）和生成器参数（θ）使用RMSProp更新，利用MMD_{\alpha,\beta}目标的mini-batch估计。

实验结果

研究问题

• RQ1 在什么条件下，MMD GAN中的梯度下降能全局收敛至目标数据分布？
• RQ2 能否构建一种参数化核化梯度流，以确保在生成器分布统计流形上MMD泛函的下降？
• RQ3 是否存在统计流形上的黎曼几何结构，使得MMD GAN的梯度下降等价于该结构下的梯度流？
• RQ4 与标准MMD GAN相比，所提出的MMD_{\alpha,\beta}正则化器如何提升训练稳定性和收敛性？
• RQ5 在所提出的几何框架下，MMD GAN中梯度下降的非渐近收敛速率是多少？

主要发现

• 若满足条件 α‖D_θ u_t‖_ℋ² + β⟨u_t, D_θ u_t⟩_ℋ = 0，则MMD GAN中的梯度下降会全局收敛至目标分布，该条件等价于 D_θ h_θ = 0。
• MMD的参数化核化梯度流在新黎曼度量d_{\alpha,\beta}下，恰好对应于MMD泛函的梯度流。
• 通过衰减估计建立了非渐近收敛性：log(ℱ(q_θ_t)/ℱ(q_θ_0)) ≤ -∫₀ᵗ [λ_i(θ_s)a(θ_s,u_s)γ(θ_s)] / [αλ_i(θ_s)a(θ_s,u_s) + β] ds。
• 收敛速率取决于特征值λ_i(θ_s)、核对齐度a(θ_s,u_s)和曲率参数γ(θ_s)，当这些值较大时衰减更快。
• 数值实验表明，所提出的流能稳定训练并防止模式崩溃，尤其当α > 0时，而标准MMD GAN中α = 0时则不然。
• 即使判别函数为深层神经网络（即学习的核），该方法仍表现良好，表明其在神经正切核（Neural Tangent Kernel）框架下具有潜在泛化能力。