[论文解读] Theoretical guarantees for sampling and inference in generative models with latent diffusions

Belinda Tzen, Maxim Raginsky|arXiv (Cornell University)|Mar 5, 2019

Bayesian Methods and Mixture Models参考文献 40被引用 13

一句话总结

本文通过随机控制统一采样与变分推断，为具有潜在扩散过程的生成模型提供了理论保证。证明了基于神经网络的漂移项可高效逼近目标分布，误差在ε-KL散度范围内，同时提出了一种具有有界方差估计器的无偏模拟方案，采用随机深度的深度生成模型架构。

ABSTRACT

We introduce and study a class of probabilistic generative models, where the latent object is a finite-dimensional diffusion process on a finite time interval and the observed variable is drawn conditionally on the terminal point of the diffusion. We make the following contributions: We provide a unified viewpoint on both sampling and variational inference in such generative models through the lens of stochastic control. We quantify the expressiveness of diffusion-based generative models. Specifically, we show that one can efficiently sample from a wide class of terminal target distributions by choosing the drift of the latent diffusion from the class of multilayer feedforward neural nets, with the accuracy of sampling measured by the Kullback-Leibler divergence to the target distribution. Finally, we present and analyze a scheme for unbiased simulation of generative models with latent diffusions and provide bounds on the variance of the resulting estimators. This scheme can be implemented as a deep generative model with a random number of layers.

研究动机与目标

• 通过随机控制框架统一潜在扩散生成模型中的采样与变分推断。
• 通过证明神经网络漂移项可在Kullback–Leibler散度下实现对目标分布的ε-近似，量化基于扩散模型的表达能力。
• 为潜在扩散模型开发一种无偏模拟方案，并对估计器提供严格的方差界。

提出的方法

• 将问题形式化为一个随机控制问题，其中控制项调整参考扩散过程的漂移，以匹配目标终端分布。
• 使用Föllmer漂移作为最优控制，实现精确采样，其推导基于最小化自由能泛函。
• 通过最小化对数似然的上界实现变分推断，其中控制代价作为正则化项。
• 采用神经网络作为漂移项的参数函数类，实现对复杂目标分布的高效逼近。
• 通过随机层数的深度生成模型架构，开发无偏模拟方法，并利用分部积分法与矩生成函数技术推导方差界。
• 利用高斯分部积分公式及Mittag–Leffler函数的性质，建立估计器的统一可积性与收敛性。

实验结果

研究问题

• RQ1 如何在单一随机控制框架下统一潜在扩散模型中的采样与变分推断？
• RQ2 当漂移项由深度神经网络参数化时，基于扩散的生成模型具有怎样的表达能力？
• RQ3 能否为潜在扩散模型构造具有可证明方差界的无偏估计器？
• RQ4 漂移项参数化的选取如何影响终端分布与目标分布之间的KL散度？
• RQ5 在何种条件下可确保所提出的无偏模拟方案的收敛性与可积性？

主要发现

• Föllmer漂移提供了一种最优控制策略，可在终端时间实现从目标分布的精确采样，且控制代价量化了所需完成的功。
• 由神经网络参数化的漂移项可实现对任意目标分布的ε-KL散度范围内的逼近，确立了基于扩散的生成模型的表达能力。
• 变分推断目标被推导为控制代价最小化问题，提供了可计算的优化框架。
• 通过使用随机层数构建无偏模拟方案，所得估计器的方差被有界，其界由Mittag–Leffler函数的函数形式表达。
• 证明了估计器序列的统一可积性，确保在适当的矩条件下实现收敛。
• 利用分部积分法与矩生成函数技术推导方差界，最终界以Mittag–Leffler函数的形式表达。