[论文解读] Properties of f-divergences and f-GAN training

Matt Shannon|arXiv (Cornell University)|Sep 2, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用 5

一句话总结

本文对 f-散度及其在 f-GAN 训练中的作用提供了严格的分析，推导出变分下界，并揭示了在分布相近时的关键性质，如梯度匹配和 f-散度之间的普遍一致性。本文提出了一种稍作推广的 f-GAN 训练框架，通过解耦判别器和生成器的更新来提高训练稳定性。

ABSTRACT

In this technical report we describe some properties of f-divergences and f-GAN training. We present an elementary derivation of the f-divergence lower bounds which form the basis of f-GAN training. We derive informative but perhaps underappreciated properties of f-divergences and f-GAN training, including a gradient matching property and the fact that all f-divergences agree up to an overall scale factor on the divergence between nearby distributions. We provide detailed expressions for computing various common f-divergences and their variational lower bounds. Finally, based on our reformulation, we slightly generalize f-GAN training in a way that may improve its stability.

研究动机与目标

• 阐明 f-散度的数学性质，特别是其在分布间微小偏差下的行为。
• 推导并分析 f-GAN 训练中使用的变分下界，基于初等微积分进行论证。
• 解决由于生成器支持低维而导致的 GAN 训练中的理论病态行为，特别是无穷大散度和梯度消失问题。
• 提出一种广义的 f-GAN 训练方案，通过解耦判别器和生成器的更新来提升训练稳定性。
• 倡导在生成器中注入噪声，以确保输出空间的完整支持，从而消除基于 f-散度训练中的病态行为。

提出的方法

• 利用共轭凸对偶性推导 f-散度的变分下界，表明判别器网络近似于对数似然比。
• 证明当分布接近时，所有 f-散度在尺度因子内一致，该尺度由 f''(1) 决定，从而在局部区域内与 KL 散度相关联。
• 提出一种广义的 f-GAN 更新规则，其中生成器和判别器的梯度分别来自不同的 f-散度函数，从而支持混合训练方案。
• 建议在生成器网络的所有层级注入噪声，以确保输出空间的完整支持，消除零密度区域和无穷大散度。
• 分析有限样本近似和重参数化对梯度方差的影响，表明在重参数化下，f 的仿射变换不影响梯度。
• 证明 f-散度的最优判别器为 d*(x) = log p(x) - log q(x)，且当生成器支持为低维时，该函数几乎处处为无穷大。

实验结果

研究问题

• RQ1 当真实分布与模型分布几乎相同时，f-散度的行为如何？
• RQ2 f-散度在何种精确数学条件下可保持至多一个尺度因子的一致性？
• RQ3 为何使用低维生成器的标准 GAN 会遭遇无穷大散度和梯度消失问题？
• RQ4 能否通过解耦判别器和生成器的更新，将 f-GAN 训练广义化以提升稳定性？
• RQ5 向生成器中注入噪声对模型分布的支持以及 f-散度计算的有效性有何影响？

主要发现

• 当 p ≈ q 时，所有 f-散度在尺度因子 f''(1) 内一致，意味着标准 f-散度在局部区域内不可区分。
• 通过共轭凸对偶性推导出 f-散度的变分下界，表明判别器网络学习的是对数似然比 log p(x)/q(x)。
• 当生成器支持为低维时，所有 f-散度均未定义或梯度饱和，导致训练失败。
• 向生成器中注入噪声可确保输出空间的完整支持，消除无穷大散度并使 f-散度计算有效。
• 采用反向 KL 散度训练生成器、Jensen-Shannon 散度训练判别器的混合 f-GAN 训练方案可提升稳定性，同时近似最小化反向 KL。
• 即使判别器在不同 f-函数上进行训练，f-散度的梯度仍与判别器网络的梯度一致，表明对更新规则变化具有鲁棒性。