[论文解读] Pareto GAN: Extending the Representational Power of GANs to Heavy-Tailed Distributions

Todd Huster, Jérémy E. Cohen+6 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Healthcare被引用 5

一句话总结

Pareto GAN 通过利用极值理论在生成器中强制实施广义帕累托分布（GPD）尾部，将 GAN 扩展至建模重尾分布，同时使用稳定的根欧几里得能量距离损失实现可靠训练。与标准 GAN 相比，其在尾部分布匹配和流形保真度方面表现更优，在合成重尾数据上平均面积度量为 28，平均对数 MDist 为 7.7。

ABSTRACT

Generative adversarial networks (GANs) are often billed as "universal distribution learners", but precisely what distributions they can represent and learn is still an open question. Heavy-tailed distributions are prevalent in many different domains such as financial risk-assessment, physics, and epidemiology. We observe that existing GAN architectures do a poor job of matching the asymptotic behavior of heavy-tailed distributions, a problem that we show stems from their construction. Additionally, when faced with the infinite moments and large distances between outlier points that are characteristic of heavy-tailed distributions, common loss functions produce unstable or near-zero gradients. We address these problems with the Pareto GAN. A Pareto GAN leverages extreme value theory and the functional properties of neural networks to learn a distribution that matches the asymptotic behavior of the marginal distributions of the features. We identify issues with standard loss functions and propose the use of alternative metric spaces that enable stable and efficient learning. Finally, we evaluate our proposed approach on a variety of heavy-tailed datasets.

研究动机与目标

• 为解决标准 GAN 在建模重尾分布（尤其是尾部）时泛化能力差的问题。
• 识别出常见的 GAN 损失函数（如 Wassertein 和能量距离）在应用于具有无限矩的重尾数据时会变得不稳定或发散。
• 设计一种生成器架构，可利用广义帕累托分布（GPD）显式建模幂律尾部分布行为。
• 开发一种适用于重尾数据训练的稳定、有限梯度损失函数。
• 证明 Pareto GAN 能够有效学习具有异质边缘尾指数的多变量分布。

提出的方法

• 生成器使用从柯西分布（重尾）中采样的噪声向量，并应用可学习尾指数的逐元素幂变换，以生成具有所需 GPD 类似尾部的输出。
• 生成器使用根欧几里得能量距离（root-ED）损失进行训练，该损失可确保期望有限且梯度稳定，即使标准能量距离为无穷大。
• 通过极值理论估计输入噪声的尾指数，具体方法是使用广义帕累托分布建模高于高阈值的条件超额分布。
• 在变换后的度量空间中评估损失函数，使分布行为更稳定，从而在重尾数据具有无限矩的情况下仍能实现稳定优化。
• 模型使用包含 4 个全连接层、每层 256 个神经元的多层感知机生成器，基于 10,000 个样本进行训练，输入噪声维度为 200。
• 采用基于投影的流形距离度量，通过逆幂变换和投影到线性子空间，计算生成样本与真实数据流形的接近程度。

实验结果

研究问题

• RQ1 标准 GAN 能否有效外推至重尾分布中的极端值，还是会在训练数据之外失效？
• RQ2 为何常见的 GAN 损失函数（如 Wassertein 和能量距离）在应用于具有无限矩的重尾数据时会失效？
• RQ3 能否显式设计一种 GAN，利用极值理论匹配重尾分布的渐近尾部分布行为？
• RQ4 使用如根欧几里得能量距离等稳定且具有有限梯度的损失函数，是否能实现对标准损失失效的重尾数据的有效训练？
• RQ5 Pareto GAN 能否泛化至具有异质边缘尾指数的多变量分布？

主要发现

• 使用根欧几里得能量距离的 Pareto GAN 实现了 28 的平均面积度量，显著优于标准能量距离 Pareto GAN（197）和普通 GAN（132），表明其尾部分布匹配能力更优。
• 根 ED Pareto GAN 的平均对数 MDist 为 7.7，表明生成样本比其他变体（包括对数正态 GAN 的 35.7）更接近真实数据流形。
• 标准能量距离 Pareto GAN 由于梯度不稳定，未能学习到正确的尾部分布行为，即使生成器容量足够，也常产生有界边缘。
• 根 ED 损失实现了稳定训练，并有效学习了双边重尾，解决了标准能量距离在重尾数据中固有的不稳定性问题。
• 该方法成功建模了具有不同边缘尾指数的多变量分布，展示了对异质尾部行为建模的灵活性。
• 在包含 1,000,000 个评估样本的合成数据上的实验表明，结果在三个随机种子下保持一致，验证了方法的鲁棒性与可复现性。