[论文解读] The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Jun 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 37

一句话总结

本文提出了一种统一的拉格朗日框架，通过证明多种潜在变量生成模型（如 VAE、GAN 和 InfoGAN）是单一约束优化问题的对偶函数，从而将它们统一起来。通过联合优化模型参数与拉格朗日乘子，该方法在互信息与约束满足之间实现了帕累托最优权衡，在互信息与一致性度量上均优于现有方法（如 InfoVAE）。

ABSTRACT

A large number of objectives have been proposed to train latent variable generative models. We show that many of them are Lagrangian dual functions of the same primal optimization problem. The primal problem optimizes the mutual information between latent and visible variables, subject to the constraints of accurately modeling the data distribution and performing correct amortized inference. By choosing to maximize or minimize mutual information, and choosing different Lagrange multipliers, we obtain different objectives including InfoGAN, ALI/BiGAN, ALICE, CycleGAN, beta-VAE, adversarial autoencoders, AVB, AS-VAE and InfoVAE. Based on this observation, we provide an exhaustive characterization of the statistical and computational trade-offs made by all the training objectives in this class of Lagrangian duals. Next, we propose a dual optimization method where we optimize model parameters as well as the Lagrange multipliers. This method achieves Pareto optimal solutions in terms of optimizing information and satisfying the constraints.

研究动机与目标

• 在单一优化框架下统一广泛类别的潜在变量生成模型。
• 刻画现有训练目标（如 VAE、GAN 和 InfoGAN）固有的统计与计算权衡。
• 解决现有方法中固定拉格朗日乘子的局限性，该局限性导致强对偶性不成立且性能无法最优。
• 提出一种对偶优化方法，联合学习模型参数与拉格朗日乘子，以提升约束满足与信息优化。
• 通过实证结果证明，所提方法在互信息与一致性度量上均帕累托优于现有方法。

提出的方法

• 构建一个原始优化问题，即在数据分布与近似推理的一致性约束下，最大化或最小化潜在变量与观测变量之间的互信息。
• 推导该原始问题的拉格朗日对偶函数，表明现有目标（如 InfoVAE、ALI、CycleGAN）在不同拉格朗日乘子选择下为特例。
• 提出一种对偶优化算法，联合优化模型参数与拉格朗日乘子，确保在分布空间中强对偶性成立。
• 引入拉格朗日 VAE（LagVAE），作为该方法在 InfoVAE 目标下的实用实现，实现互信息与约束满足之间的显式权衡。
• 采用 MMD 与 ELBO 作为一致性约束，并引入松弛变量以控制约束违反的容忍度。
• 使用基于符号的控制方式调节拉格朗日乘子 α₁，以确定在可行集中是最大化还是最小化互信息。

实验结果

研究问题

• RQ1 能否将多种潜在变量生成模型统一于单一优化框架之下？
• RQ2 现有训练目标（如 VAE、GAN 和 InfoGAN）固有的统计与计算权衡是什么？
• RQ3 为何现有方法中固定的拉格朗日乘子会导致次优性能与不可预测的权衡？
• RQ4 联合优化模型参数与拉格朗日乘子能否在互信息与约束满足之间实现帕累托最优解？
• RQ5 所提出的对偶优化方法是否在互信息与一致性度量上均优于现有方法（如 InfoVAE）？

主要发现

• 所考虑的所有生成模型（包括 VAE、GAN 与 InfoGAN）均被证明是同一原始优化问题的拉格朗日对偶函数。
• 拉格朗日乘子 α₁ 的符号决定了互信息是被最大化还是最小化，而其大小不影响结果。
• 拉格朗日 VAE（LagVAE）可稳定地在由一致性约束定义的可行集中实现最大或最小互信息。
• 在训练集与测试集上，LagVAE 均帕累托优于 InfoVAE 的所有超参数配置：没有任何一个 InfoVAE 配置能在互信息与 ELBO 上同时表现更优。
• 实证结果表明，对于任意给定的 ELBO 值，LagVAE 在最大化互信息时达到相等或更高的互信息，而在最小化互信息时达到相等或更低的互信息，相较 InfoVAE。
• 该方法在分布空间中实现了强对偶性，确保对偶优化过程能最优地求解原始问题，同时满足约束条件。