[论文解读] Theoretical limitations of Encoder-Decoder GAN architectures

Sanjeev Arora, Andrej Risteski+1 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 15

一句话总结

该论文表明，尽管生成器输出的分布支持集很小（即出现严重模式崩溃），且编码器将图像映射为近乎白噪声，但编码器-解码器 GAN 架构——旨在缓解模式崩溃并学习有意义的特征——仍可实现接近最优的训练目标。理论分析揭示，仅靠训练目标本身无法防止这些病态解，意味着实际成功必须依赖于目标函数未捕捉到的归纳偏置或优化动力学。

ABSTRACT

Encoder-decoder GANs architectures (e.g., BiGAN and ALI) seek to add an inference mechanism to the GANs setup, consisting of a small encoder deep net that maps data-points to their succinct encodings. The intuition is that being forced to train an encoder alongside the usual generator forces the system to learn meaningful mappings from the code to the data-point and vice-versa, which should improve the learning of the target distribution and ameliorate mode-collapse. It should also yield meaningful codes that are useful as features for downstream tasks. The current paper shows rigorously that even on real-life distributions of images, the encode-decoder GAN training objectives (a) cannot prevent mode collapse; i.e. the objective can be near-optimal even when the generated distribution has low and finite support (b) cannot prevent learning meaningless codes for data -- essentially white noise. Thus if encoder-decoder GANs do indeed work then it must be due to reasons as yet not understood, since the training objective can be low even for meaningless solutions.

研究动机与目标

• 研究编码器-解码器 GAN 架构（如 BiGAN 和 ALI）在理论上是否能防止模式崩溃并学习有意义的潜在表征。
• 确定这些架构的训练目标是否真正强制实现分布保真度与语义上有意义的特征。
• 分析联合生成器-编码器目标是否能为退化解（如有限支持的生成器和随机编码）提供理论保证。
• 将先前关于标准 GAN 的理论结果扩展至更复杂的编码器-解码器设置，揭示此类架构是否避免了相同的局限性。

提出的方法

• 构建一个理论框架，其中生成器被训练为在图像上产生有限支持的分布，而编码器通过分块且无碰撞的潜在码集合，将真实图像映射为随机噪声。
• 定义一个作用于成对输入（图像，潜在码）的判别器，并利用 McDiarmid 不等式进行集中性论证，表明在所构造的分布下，期望判别器得分仍接近最优。
• 在判别器上使用 epsilon 网，并通过并集界确保结果在所有有界大小的判别器上一致成立。
• 证明在真实数据分布下判别器输出的期望值，与在生成器输出分布下的期望值一致，即使生成器仅输出极少数不同的图像。
• 利用潜在码的无碰撞集合可独立地从块上的均匀分布中采样这一事实，从而支持测度集中性论证。
• 表明当生成器输出分布在仅 O(p log p / ε²) 张图像上时，训练目标仍保持接近最优，其中 p 为判别器大小。

实验结果

研究问题

• RQ1 在真实图像分布下，编码器-解码器 GAN 是否能凭借其联合训练目标防止模式崩溃？
• RQ2 编码器-解码器 GAN 的训练目标是否足以强制实现有意义的、非随机的潜在表征？
• RQ3 标准 GAN 的理论保证是否可扩展至编码器-解码器架构，还是它们仍受相同根本性局限的影响？
• RQ4 当生成器具有有限且较小的支持集，且编码器输出近乎白噪声时，能否实现接近最优的训练目标？
• RQ5 如果目标函数无法排除退化解，编码器-解码器 GAN 在实践中依靠何种理论机制得以成功？

主要发现

• 即使生成器输出分布的支持集大小为 O(p log p / ε²)，编码器-解码器 GAN 的训练目标仍可接近最优，表明严重模式崩溃是可能的。
• 可构造编码器使其将真实图像映射为白噪声，在训练目标下仍产生接近最优的解，证明有意义的特征学习并未被强制实现。
• 在真实数据分布下判别器输出的期望值，与在生成器分布下的期望值一致，即使生成器仅生成极少数不同的图像。
• 通过 McDiarmid 不等式与无碰撞集合构造，测度集中性论证确保了在随机生成器与潜在码样本下目标的稳定性。
• 通过 epsilon 网与并集界，结果在所有有界大小的判别器上一致成立，将 Arora 等人（2017）的方法扩展至编码器-解码器设置。
• 理论分析表明，仅靠训练目标本身无法防止退化解，意味着实际成功必须依赖于目标函数未捕捉到的归纳偏置或优化动力学。