[论文解读] SGD Learns One-Layer Networks in WGANs

Qi Lei, Jason D. Lee+2 more|arXiv (Cornell University)|Oct 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 13

一句话总结

该论文证明了在使用多项式时间与样本复杂度的前提下，随机梯度下降-上升（SGDA）在单层Wasserstein GAN中全局收敛至最优生成器。对于采用常见激活函数（如ReLU、Sigmoid）的单层生成器和二次判别器，SGDA在可实现性假设下实现全局收敛，达到最优的统计速率O(1/√n)。

ABSTRACT

Generative adversarial networks (GANs) are a widely used framework for learning generative models. Wasserstein GANs (WGANs), one of the most successful variants of GANs, require solving a minmax optimization problem to global optimality, but are in practice successfully trained using stochastic gradient descent-ascent. In this paper, we show that, when the generator is a one-layer network, stochastic gradient descent-ascent converges to a global solution with polynomial time and sample complexity.

研究动机与目标

• 为弥合GAN训练中经验成功与理论理解之间的差距，特别是在具有非凸、非凹目标函数的WGAN中。
• 建立在具有单层生成器的WGAN中，随机梯度下降-上升（SGDA）的全局收敛保证。
• 证明在合理假设下，单层WGAN的训练可实现多项式时间与多项式样本复杂度。
• 证明通过合理设计的二次判别器可确保达到与信息论下界匹配的参数化O(1/√n)统计速率。
• 证明即使在非凸设置下，SGDA也能在判别器诱导度量下收敛至全局最优生成器。

提出的方法

• 形式化定义了使用单层生成器和二次判别器的WGAN目标，激活函数来自包含ReLU、Sigmoid和Leaky ReLU的广泛类别。
• 通过随机梯度下降-上升（SGDA）分析极小极大优化问题，证明在可实现性假设下收敛至全局最优生成器。
• 引入一种新颖的分析框架，利用判别器诱导度量来衡量生成器质量，确保全局收敛。
• 使用浓度不等式（引理4–5）证明随机梯度以高概率逼近真实梯度。
• 采用二阶平稳点（SOSP）分析（Ge等，2015年，定理3）证明SGDA可在多项式时间内达到近似平稳点。
• 应用关键引理（引理7）证明目标函数的任意ε-一阶平稳点（ε-FOSP）在Frobenius范数下与真实解的距离为O(ε)。

实验结果

研究问题

• RQ1 在具有非凸、非凹目标函数的单层WGAN中，随机梯度下降-上升（SGDA）能否全局收敛至最优生成器？
• RQ2 在WGAN框架下，SGDA学习单层生成器的时间与样本复杂度是多少？
• RQ3 使用二次判别器是否能确保达到与信息论下界匹配的统计速率？
• RQ4 即使生成器是非线性的（如ReLU、Sigmoid），是否仍能保证全局收敛，而不仅限于线性情况？
• RQ5 随机梯度与浓度不等式如何影响收敛至全局最优解？

主要发现

• SGDA在单层WGAN中以多项式时间与样本复杂度全局收敛至最优生成器。
• 该方法实现了O(1/√n)的统计速率，与Wu等（2019）证明的学习单层生成器的下界一致。
• 收敛性在可实现性假设下得到保证：目标分布位于生成器的容量范围内。
• 分析证明，目标函数的任意ε-一阶平稳点（ε-FOSP）在Frobenius范数下与真实解的距离为O(ε)。
• 随机梯度以高概率收敛至真实梯度，确保算法保持稳定与准确。
• 该结果将Feizi等（2017）关于线性生成器的先前工作扩展至具有标准激活函数的非线性单层网络。