[论文解读] The Inductive Bias of Restricted f-GANs

Shuang Liu, Kamalika Chaudhuri|arXiv (Cornell University)|Sep 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 13

一句话总结

本文对受限 f-GAN 进行了理论表征，其中生成器被约束于某一分布族，判别器被约束于某一函数族。研究发现，对于线性 KL-GAN，最优生成器分布是最大似然估计与矩方法解的新型组合，而非单独采用任一方法，揭示了在模型不匹配条件下 GAN 训练中存在独特的归纳偏置。

ABSTRACT

Generative adversarial networks are a novel method for statistical inference that have achieved much empirical success; however, the factors contributing to this success remain ill-understood. In this work, we attempt to analyze generative adversarial learning -- that is, statistical inference as the result of a game between a generator and a discriminator -- with the view of understanding how it differs from classical statistical inference solutions such as maximum likelihood inference and the method of moments. Specifically, we provide a theoretical characterization of the distribution inferred by a simple form of generative adversarial learning called restricted f-GANs -- where the discriminator is a function in a given function class, the distribution induced by the generator is restricted to lie in a pre-specified distribution class and the objective is similar to a variational form of the f-divergence. A consequence of our result is that for linear KL-GANs -- that is, when the discriminator is a linear function over some feature space and f corresponds to the KL-divergence -- the distribution induced by the optimal generator is neither the maximum likelihood nor the method of moments solution, but an interesting combination of both.

研究动机与目标

• 理解在生成器与判别器均受约束的模型不匹配条件下，生成对抗网络的归纳偏置。
• 通过变分 f-散度最小化，对受限 f-GAN 所诱导的解进行理论表征。
• 阐明 GAN 解与经典推断方法（如最大似然估计与矩方法）之间的差异。
• 证明线性 KL-GAN 中的最优解并非纯最大似然估计或矩方法解，而是两者的混合体。

提出的方法

• 分析利用 Fenchel-Moreau 定理与 Ky Fan 的极小化极大定理，推导受限 f-GAN 目标函数的对偶形式。
• 应用共轭对偶性，将生成器-判别器博弈转化为在概率测度上的极小化极大问题。
• 通过表征最优生成器分布为最小化 f-散度与涉及判别器类别的惩罚项组合的形式，推导出解。
• 该方法依赖于概率测度上的弱*拓扑，并建立了应用极小化极大定理所需的紧致性与连续性条件。
• 利用 f-散度的变分形式，并假设判别器类 H 在平移下封闭且具有平移不变性。
• 关键推导表明，最优 Q 由涉及判别器惩罚项的共轭函数与 f-散度的极小化极大问题决定。

实验结果

研究问题

• RQ1 在模型不匹配下，受限 f-GAN 所诱导的分布的理论形式是什么？
• RQ2 受限 f-GAN 的解与最大似然估计和矩方法等经典推断方法相比有何不同？
• RQ3 在线性 KL-GAN 中，最优生成器是否对应于最大似然估计或矩方法估计？
• RQ4 当生成器与判别器均受约束时，f-GAN 的归纳偏置是什么？
• RQ5 受限 f-GAN 的解能否被表征为最大似然估计与广义矩方法解的凸组合或混合形式？

主要发现

• 对于线性 KL-GAN，最优生成器分布既非最大似然估计器，也非矩方法解。
• 相反，该解是一种混合形式，通过变分 f-散度目标函数在似然最大化与矩匹配之间实现平衡。
• 最优解源于涉及判别器惩罚项共轭函数与 f-散度的极小化极大公式。
• 分析证明了解在弱*拓扑下是良定义的，并满足必要的紧致性与连续性条件。
• 结果表明，受限 f-GAN 诱导出一种与经典推断方法截然不同的独特归纳偏置。
• 最优 Q 被表征为最小化一个涉及判别器类别的对偶与数据分布 f-散度的泛函的解。