[论文解读] On Relativistic $f$-Divergences

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|Jan 8, 2019

Advanced Image Processing Techniques参考文献 20被引用 6

一句话总结

本文严格证明了相对性生成对抗网络（RGANs）基于有效的统计散度——相对性 f-散度——通过证明判别器的目标函数在任意满足最小条件的凹函数 f 下均为散度。研究表明，Wasserstein 距离弱于 f-散度，而 f-散度又弱于相对性 f-散度，表明 RGANs 的成功源于相对性判别与正则化，而非仅弱度量。研究还分析了估计器，发现 RpGANs 的无偏估计器会降低性能，而 RaGANs 的有限样本偏差较小，去除该偏差亦无益处。

ABSTRACT

This paper provides a more rigorous look at Relativistic Generative Adversarial Networks (RGANs). We prove that the objective function of the discriminator is a statistical divergence for any concave function $f$ with minimal properties ($f(0)=0$, $f'(0) eq 0$, $\sup_x f(x)>0$). We also devise a few variants of relativistic $f$-divergences. Wasserstein GAN was originally justified by the idea that the Wasserstein distance (WD) is most sensible because it is weak (i.e., it induces a weak topology). We show that the WD is weaker than $f$-divergences which are weaker than relativistic $f$-divergences. Given the good performance of RGANs, this suggests that WGAN does not performs well primarily because of the weak metric, but rather because of regularization and the use of a relativistic discriminator. We also take a closer look at estimators of relativistic $f$-divergences. We introduce the minimum-variance unbiased estimator (MVUE) for Relativistic paired GANs (RpGANs; originally called RGANs which could bring confusion) and show that it does not perform better. Furthermore, we show that the estimator of Relativistic average GANs (RaGANs) is only asymptotically unbiased, but that the finite-sample bias is small. Removing this bias does not improve performance.

研究动机与目标

• 严格证明 RGAN 判别器的目标函数为有效统计散度，具体为相对性 f-散度。
• 探究 RGANs 的优越性能是否源于 Wasserstein 距离的弱拓扑，或源于相对性判别与正则化。
• 分析并比较相对性 f-散度的估计器，特别是 RpGANs 的最小方差无偏估计器（MVUE）与 RaGANs 的有限样本偏差。
• 提出并形式化相对性 f-散度的新变体，明确区分 RpGANs 与 RaGANs。

提出的方法

• 证明在任意满足 f(0)=0、f'(0)≠0 且 sup f(x)>0 的凹函数 f 下，RGAN 中判别器目标函数对应于相对性 f-散度。
• 基于成对与平均的真实-虚假样本比较，定义并形式化两种主要变体：相对性配对 GAN（RpGANs）与相对性平均 GAN（RaGANs）。
• 通过统计散度的拓扑排序，证明 Wasserstein 距离弱于 f-散度，而 f-散度又弱于相对性 f-散度。
• 推导 RpGANs 的最小方差无偏估计器（MVUE），并与原始估计器进行性能比较。
• 分析 RaGANs 估计器中的有限样本偏差，并表明去除该偏差无法提升生成器性能。
• 通过理论分析与矩方法推导，在高斯假设下计算偏差与散度表达式，适用于 LSGAN 与 HingeGAN 变体。

实验结果

研究问题

• RQ1 RGAN 判别器的目标函数在数学上是否为有效统计散度？
• RQ2 RGANs 的优越性能是否源于 Wasserstein 距离的弱拓扑，或源于相对性判别与正则化？
• RQ3 在 RpGANs 中使用最小方差无偏估计器（MVUE）是否相比标准估计器能提升生成器性能？
• RQ4 RaGANs 估计器中的有限样本偏差是否显著？偏差校正是否能提升训练稳定性或样本质量？
• RQ5 Wasserstein 距离、f-散度与相对性 f-散度的拓扑强度如何比较？

主要发现

• 证明 RGAN 中判别器目标函数为有效统计散度——具体为相对性 f-散度——适用于任意满足 f(0)=0、f'(0)≠0 且 sup f(x)>0 的凹函数 f。
• Wasserstein 距离在拓扑上弱于 f-散度，而 f-散度又弱于相对性 f-散度，表明弱度量本身不足以解释 WGAN 的成功。
• 在 RpGANs 中使用最小方差无偏估计器（MVUE）会导致生成器性能下降，表明原始有偏估计器可能因隐式正则化而更优。
• RaGANs 估计器中的有限样本偏差较小，且不会降低性能；去除该偏差亦无益处，表明该偏差在实践中并非主要问题。
• 本研究形式化了相对性 f-散度的新变体，包括 RcLSGAN、RaLSGAN 与 RaHingeGAN，并在高斯假设下推导出其闭式表达式。
• 分析表明，相对性判别器结构本身，而非弱度量，是 RGANs 实现训练稳定性与样本质量提升的关键因素。