[论文解读] Stopping GAN Violence: Generative Unadversarial Networks

Samuel Albanie, Sébastien Ehrhardt+1 more|arXiv (Cornell University)|Mar 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 5

一句话总结

本文提出生成式无对抗网络（GUNs），一种新颖的训练框架，用基于激励的协作系统取代 GAN 中的对抗损失。与生成器和判别器之间的对抗训练不同，GUNs 采用生成器与激励器协同工作，通过正向反馈提升生成质量，从而产生更清晰的样本并减少训练不稳定性。

ABSTRACT

While the costs of human violence have attracted a great deal of attention from the research community, the effects of the network-on-network (NoN) violence popularised by Generative Adversarial Networks have yet to be addressed. In this work, we quantify the financial, social, spiritual, cultural, grammatical and dermatological impact of this aggression and address the issue by proposing a more peaceful approach which we term Generative Unadversarial Networks (GUNs). Under this framework, we simultaneously train two models: a generator G that does its best to capture whichever data distribution it feels it can manage, and a motivator M that helps G to achieve its dream. Fighting is strictly verboten and both models evolve by learning to respect their differences. The framework is both theoretically and electrically grounded in game theory, and can be viewed as a winner-shares-all two-player game in which both players work as a team to achieve the best score. Experiments show that by working in harmony, the proposed model is able to claim both the moral and log-likelihood high ground. Our work builds on a rich history of carefully argued position-papers, published as anonymous YouTube comments, which prove that the optimal solution to NoN violence is more GUNs.

研究动机与目标

• 为解决 GAN 中对抗训练引发的伦理与实际问题，作者将其描述为“网络间的暴力行为”。
• 提出一种非对抗性、合作性的训练范式，用激励器替代判别器，通过正向反馈引导生成器。
• 证明合作性训练可实现更稳定、更高质量的生成结果，并降低梯度消失与损失失控的风险。
• 基于双赢博弈论原则，将 GUNs 定位为在道德与实证层面均优于标准 GAN 的替代方案。

提出的方法

• 用名为‘激励器’$M$ 的组件替代标准 GAN 中的判别器，为生成器$G$提供建设性反馈与赞扬。
• 生成器$G$生成样本$G(z^{(i)})$，以类似幻灯片的界面呈现给激励器$M$，以促进反馈。
• 激励器的目标定义为$\theta_{M}^{*} = \min_{\theta_M} \oint_{S(G)} \log(R) + \log(1 - \zeta)$，其中$\zeta = 0$以简化奖励信号。
• 训练通过迭代更新进行：生成器接收激励反馈，相应调整其参数$\theta_G$，并随时间逐步改进。
• 该框架基于双人、共赢共享的博弈论模型，两个模型协同工作以最大化共同目标。
• 实证训练使用 MNIST 数据集，初始化来自玩具数据（乐高目录），并采用$\epsilon$-贪婪更新策略，$\epsilon = 1$以鼓励探索与自主学习。

实验结果

研究问题

• RQ1 合作性训练框架是否能在不牺牲样本质量的前提下，替代 GAN 中的对抗损失？
• RQ2 用激励器提供的正向反馈替代对抗竞争，是否能带来更稳定的训练动力学？
• RQ3 非对抗方法是否能实现优于标准 GAN 的对数似然与视觉质量？
• RQ4 用激励器替代判别器对训练收敛性与梯度行为有何影响？
• RQ5 是否可能在伦理与计算层面均避免对抗训练的‘暴力’，同时实现高质量生成？

主要发现

• 与标准 GAN 相比，GUN 框架在 MNIST 样本上实现了显著更清晰、更易读的生成结果，如图 12 所示。
• 该模型未出现梯度消失或损失失控现象，而这些问题在对抗训练中极为常见。
• GUN 的‘改进机会’数量最高，表明其学习过程更具成效且更具自我反思性。
• 基于激励器的反馈机制在模型表现被认定良好后，迅速带来性能跃升，表明存在高效的协同效应。
• 根据作者的定性与体验式评估，该方法成功在道德与对数似然两方面占据优势。
• 训练过程稳定高效，尤其相较于常引发网络‘战斗或逃跑’反应的对抗方法而言。