[论文解读] Stochastic Normalizing Flows
通过将连续正则化流扩展到使用粗路径理论的随机微分方程来引入随机正则化流，从而实现密度估计、最大似然估计和变分推断，应用于 SDEs 和潜在布朗运动。提供理论框架和实际训练方法，使用 Wong–Zakai近似来研究随机常微分方程和 Stratonovich SDEs，并将其应用于随机 MCMC 的超参数优化。
We introduce stochastic normalizing flows, an extension of continuous normalizing flows for maximum likelihood estimation and variational inference (VI) using stochastic differential equations (SDEs). Using the theory of rough paths, the underlying Brownian motion is treated as a latent variable and approximated, enabling efficient training of neural SDEs as random neural ordinary differential equations. These SDEs can be used for constructing efficient Markov chains to sample from the underlying distribution of a given dataset. Furthermore, by considering families of targeted SDEs with prescribed stationary distribution, we can apply VI to the optimization of hyperparameters in stochastic MCMC.
研究动机与目标
- 提供一个用于使用连续正则化流近似由 SDE 构建的生成模型的通用框架。
- 通过粗路径理论将连续正则化流扩展到随机设置，以实现对 SDE 模型的密度估计、MLE 和变分近似。
- 提供将 Stratonovich SDE、Wong–Zakai 近似和随机 ODE 集成到现有 CNF 实现中的实际训练方法。
- 展示在随机 MCMC 的密度估计和超参数优化中的应用。
提出的方法
- 通过 Ito SDEs 建模 Z_t，并使用粗路径理论将其转化为路径形式。
- 使用 Stratonovich 微积分和 Wong–Zakai 近似，将 SDEs 近似为可作为连续正则化流训练的随机 ODEs。
- 在粗路径设定中应用伴随方法，将梯度反向传播 through 随机动力学。
- 通过在潜在布朗路径近似上对随机 ODE 进行条件化并对布朗实现进行蒙特卡洛求平均来估计密度。
- 提出基于重参数化技巧的随机 ODE 的 SDE 驱动动力学的密度估计与 VI 程序。
- 提供算法与理论保证（通过定理 2）当 Wong–Zakai 近似改进时对数密度和梯度的收敛。
实验结果
研究问题
- RQ1是否可以在连续正则化流框架内将随机微分方程训练并用作潜在模型？
- RQ2如何利用粗路径理论为 CNF 风格模型中的 SDE 提供严格且可实现的逐路径处理？
- RQ3是否可以通过以保留对数密度和训练梯度计算的方式，用随机 ODE 来近似 Stratonovich SDE？
- RQ4这些随机正则化流如何用于变分推断和采样，包括在随机 MCMC 中的超参数优化？
主要发现
- 一个统一的随机正则化流框架将 CNFs 扩展到使用粗路径的 SDE，能够对 SDE 模型进行密度估计、MLE 和 VI。
- Stratonovich SDE 被逐路径地解释为粗微分方程，并通过适合 CNF 训练的随机 ODE 进行近似。
- Wong–Zakai 近似（Karhunen–Loève 展开和分段线性）提供了可实际训练和测试基于 SDE 的 CNF 的路径。
- 主要结果（定理 2）显示当用可微路径近似粗路径时，对数密度和梯度的收敛性。
- 该框架恢复并扩展了随机伴随方法，同时避免了非对角扩散和高阶 SDE 求解器的前任方法的缺陷。
- 数值实验展示了密度估计和采样器，包括一个二维玩具示例，具有可训练扩散以更好地适应曲率。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。