[论文解读] Unifying Generative Models with GFlowNets and Beyond

Dinghuai Zhang, Ricky T. Q. Chen+2 more|arXiv (Cornell University)|Sep 6, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

该论文通过将采样过程建模为马尔可夫决策过程，将多种深度生成模型——如变分自编码器（VAEs）、生成对抗网络（GANs）、归一化流（normalizing flows）、自回归模型、能量模型（energy-based models）以及扩散模型（diffusion models）——统一于GFlowNet框架之下。提出了一种受GFlowNet原理启发的新颖训练算法MLE-GFN，显著提升了图像生成任务中的样本质量和似然度，其在CIFAR-10数据集上的FID与NLL指标上均优于基线模型。

ABSTRACT

There are many frameworks for deep generative modeling, each often presented with their own specific training algorithms and inference methods. Here, we demonstrate the connections between existing deep generative models and the recently introduced GFlowNet framework, a probabilistic inference machine which treats sampling as a decision-making process. This analysis sheds light on their overlapping traits and provides a unifying viewpoint through the lens of learning with Markovian trajectories. Our framework provides a means for unifying training and inference algorithms, and provides a route to shine a unifying light over many generative models. Beyond this, we provide a practical and experimentally verified recipe for improving generative modeling with insights from the GFlowNet perspective.

研究动机与目标

• 将不同的深度生成建模框架统一于一个共同的概率推理框架之下。
• 通过马尔可夫轨迹的视角，识别现有生成模型之间的共性结构与算法特征。
• 基于GFlowNet的洞察，开发一种实用且经实验验证的训练方法——MLE-GFN，以提升生成建模性能。
• 证明GFlowNet原理可增强现有模型（如DDPM），通过引入一致性目标来学习方差参数。

提出的方法

• 使用GFlowNets将生成建模形式化为一个序列决策过程，其中采样轨迹由状态转移上的随机策略所控制。
• 将现有模型（如VAEs、GANs、归一化流、自回归模型、能量模型、扩散模型）重新诠释为具有特定策略参数化的GFlowNets特例。
• 提出MLE-GFN训练算法，结合最大似然估计与GFlowNet启发的轨迹学习，实现前向与后向策略的联合优化。
• 将一致性目标应用于DDPM中，以学习噪声调度（方差参数），从而实现对固定β值的“解冻”，提升模型表达能力与生成质量。
• 采用变分下界进行似然度估计，并引入一致性目标以正则化策略学习，提升泛化能力。
• 通过统一目标端到端训练模型，将训练与推理均视为轨迹优化问题。

实验结果

研究问题

• RQ1 如何基于马尔可夫轨迹，将多种深度生成模型统一于单一概率框架之下？
• RQ2 当通过GFlowNet视角审视时，VAEs、GANs、归一化流、自回归模型与扩散模型等模型在结构与算法层面共享哪些共性？
• RQ3 基于GFlowNet的洞察能否在样本质量与似然度方面改进现有生成建模基线？
• RQ4 如何将GFlowNet框架适配以通过学习先前固定的超参数（如噪声方差）来增强扩散模型？
• RQ5 能否从GFlowNet理论中提炼出一种实用的训练方案，以提升离散与连续生成建模任务的性能？

主要发现

• 所提出的MLE-GFN算法在CIFAR-10上优于基线模型，FID达到10.062，NLL为4.157，两项指标均优于原始DDPM基线与改进版DDPM（iDDPM）。
• MLE-GFN在样本质量（FID）与似然度（NLL）之间实现了更优的权衡，优于iDDPM——后者虽提升似然度，但导致样本质量下降。
• 当从预训练的DDPM模型进行微调时，MLE-GFN在训练过程中持续提升似然度，如图1所示，曲线收敛至更低的NLL值。
• 理论分析表明，当前向与后向策略被参数化为特定高斯分布时，DDPM是GFlowNet的一个特例。
• 一致性目标使DDPM能够学习原本固定的方差参数（βi），从而提升模型表达能力与生成质量，且不损害训练稳定性。
• 实证结果表明，MLE-GFN在离散与连续图像建模任务中均实现性能提升，验证了其通用性。