[论文解读] Rethinking Generative Mode Coverage: A Pointwise Guaranteed Approach

Peilin Zhong, Yuchen Mo+3 more|arXiv (Cornell University)|Feb 13, 2019

Probabilistic and Robust Engineering Design参考文献 43被引用 5

一句话总结

本文提出一种基于生成器混合的逐点保证方法，以实现生成模式的完整覆盖。通过构建生成器混合体，确保每个数据点以有下界概率被生成，从而实现完全的模式覆盖。该方法基于博弈论框架并采用乘法权重更新策略，在复杂合成数据集和真实世界数据集上，相较于全局统计距离最小化方法及先前的混合方法（如AdaGAN），在更少的迭代次数内实现了更优的性能。

ABSTRACT

Many generative models have to combat $ extit{missing modes}$. The conventional wisdom to this end is by reducing through training a statistical distance (such as $f$-divergence) between the generated distribution and provided data distribution. But this is more of a heuristic than a guarantee. The statistical distance measures a $ extit{global}$, but not $ extit{local}$, similarity between two distributions. Even if it is small, it does not imply a plausible mode coverage. Rethinking this problem from a game-theoretic perspective, we show that a complete mode coverage is firmly attainable. If a generative model can approximate a data distribution moderately well under a global statistical distance measure, then we will be able to find a mixture of generators that collectively covers $ extit{every}$ data point and thus $ extit{every}$ mode, with a lower-bounded generation probability. Constructing the generator mixture has a connection to the multiplicative weights update rule, upon which we propose our algorithm. We prove that our algorithm guarantees complete mode coverage. And our experiments on real and synthetic datasets confirm better mode coverage over recent approaches, ones that also use generator mixtures but rely on global statistical distances.

研究动机与目标

• 为解决生成模型中长期存在的模式崩溃问题，即尽管全局统计距离较小，仍会遗漏未充分表示的模式。
• 将模式覆盖重新定义为局部的、逐点的生成概率下界，而非全局统计度量。
• 提供一种理论保证的完整模式覆盖方法，无需引入新的生成模型架构。
• 证明仅通过训练现有生成器（如GAN）的混合体，结合基于博弈论原理的新算法，即可实现完全的模式覆盖。

提出的方法

• 提出逐点覆盖条件：生成器必须以概率 g(x) ≥ ψ·p(x) 生成每个数据点 x，其中 ψ ∈ (0,1) 为松弛常数。
• 将问题建模为两名玩家之间的博弈：生成器选择者（Alice）与数据点选择者（Bob），若对 Bob 选择的 x 满足 g(x) ≥ ψ·p(x)，则 Alice 获胜。
• 应用乘法权重更新规则，迭代组合生成器，确保混合体满足逐点覆盖条件。
• 证明在全局分布相似性适中时，生成器混合体可实现完全模式覆盖，并保证生成概率的理论下界。
• 设计一种算法（算法1），通过基于采样点覆盖性能的迭代权重更新，构建生成器混合体。
• 在真实数据集上使用预训练分类器估计各模式的生成概率，从而在实践中评估模式覆盖效果。

实验结果

研究问题

• RQ1 能否在不依赖 f-散度或Wasserstein距离等全局统计距离的前提下，保证生成建模中的完整模式覆盖？
• RQ2 是否仅通过现有生成器的混合体即可实现完全模式覆盖，而无需训练新模型？
• RQ3 何种博弈论框架可实现对所有数据点的逐点覆盖的理论保证？
• RQ4 在复杂多模态分布上，与现有基于混合的方法（如AdaGAN）相比，所提方法在效率和覆盖范围上的表现如何？
• RQ5 所提方法能否确保即使在罕见或孤立的模式上，其生成概率也不会趋于零？

主要发现

• 所提方法在所有测试数据集上均实现了完整模式覆盖，包括20个螺旋模式和442个模式的分布，而AdaGAN未能覆盖孤立或罕见模式。
• 在具有20个螺旋模式的挑战性D_s数据集上，所提方法仅用9次迭代即覆盖所有模式，而AdaGAN需25次迭代且仍遗漏部分模式。
• 在具有441个网格模式和一个孤立模式的D_i数据集上，所提方法成功覆盖所有模式，而AdaGAN完全未能覆盖孤立模式。
• 该方法显著缩短训练时间：仅需134分钟即可覆盖所有模式，而AdaGAN在相同数据集上耗时437分钟。
• 在Stacked MNIST和合成数据的实验中，所提方法始终覆盖全部10个或20个模式，而AdaGAN在D_s中仅覆盖20个模式中的14个，并在D_i中完全遗漏孤立模式。
• 逐点覆盖条件（g(x) ≥ ψ·p(x)）意味着总变差距离的上界为（≤ 1−ψ），从而在理论上与全局分布相似性保持一致。