[论文解读] Neural Parametric Fokker-Planck Equations

Shu Liu, Wuchen Li+2 more|arXiv (Cornell University)|Feb 26, 2020

Model Reduction and Neural Networks参考文献 63被引用 8

一句话总结

本文通过将 Fokker–Planck PDE 表述为由神经生成模型（如归一化流）诱导的参数流形上的 KL 散度的 $L^2$-Wasserstein 梯度流，提出了神经参数化 Fokker–Planck 方程。该方法通过变分半隐式时间离散化方案，实现了基于采样的、可证明收敛的高维 Fokker–Planck 方程数值解法，克服了经典基于网格的方法固有的维度灾难问题。

ABSTRACT

In this paper, we develop and analyze numerical methods for high dimensional Fokker-Planck equations by leveraging generative models from deep learning. Our starting point is a formulation of the Fokker-Planck equation as a system of ordinary differential equations (ODEs) on finite-dimensional parameter space with the parameters inherited from generative models such as normalizing flows. We call such ODEs neural parametric Fokker-Planck equations. The fact that the Fokker-Planck equation can be viewed as the $L^2$-Wasserstein gradient flow of Kullback-Leibler (KL) divergence allows us to derive the ODEs as the constrained $L^2$-Wasserstein gradient flow of KL divergence on the set of probability densities generated by neural networks. For numerical computation, we design a variational semi-implicit scheme for the time discretization of the proposed ODE. Such an algorithm is sampling-based, which can readily handle the Fokker-Planck equations in higher dimensional spaces. Moreover, we also establish bounds for the asymptotic convergence analysis of the neural parametric Fokker-Planck equation as well as the error analysis for both the continuous and discrete versions. Several numerical examples are provided to illustrate the performance of the proposed algorithms and analysis.

研究动机与目标

• 解决使用经典基于网格的方法求解高维 Fokker–Planck 方程时面临的维度灾难问题。
• 将 Fokker–Planck 方程重新表述为由深度生成模型诱导的流形上的参数化 ODE 系统。
• 利用变分半隐式时间离散化方法，开发一种基于采样的、可证明收敛的高维 Fokker–Planck 方程数值格式。
• 为神经参数化 Fokker–Planck 方程的连续与离散版本建立理论误差界。

提出的方法

• 将 Fokker–Planck 方程表述为神经网络生成的概率密度空间上 KL 散度的 $L^2$-Wasserstein 梯度流。
• 通过神经映射 $T_\theta$ 对参考密度 $p$ 的前推操作定义参数流形 $\Theta$，并从 Wasserstein 度量诱导出拉回度量 $G(\theta)$。
• 推导出神经参数化 Fokker–Planck ODE：$\dot{\theta}_t = -G(\theta_t)^{-1}\nabla_\theta H(\theta_t)$，其中 $H(\theta) = D \cdot \mathcal{D}_{\text{KL}}(T_{\theta\sharp}p \parallel \rho_*)$。
• 提出一种变分半隐式时间离散化方案以求解该 ODE，确保稳定性和收敛性。
• 为所提方案建立渐近收敛性和离散误差的理论界。
• 利用最优传输与信息几何，将 Fokker–Planck 动力学与参数空间的几何结构联系起来。

实验结果

研究问题

• RQ1 Fokker–Planck 方程能否被重新表述为由神经网络诱导的流形上的参数化 ODE，以避免基于网格的离散化？
• RQ2 KL 散度的 $L^2$-Wasserstein 梯度流如何被约束于生成模型的有限维参数空间？
• RQ3 何种时间离散化方案能确保高维下所得 ODE 系统的稳定性和收敛性？
• RQ4 为神经参数化 Fokker–Planck 方程的连续与离散版本可建立何种理论误差界？
• RQ5 由归一化流诱导的参数流形的几何结构如何影响解的收敛性和精度？

主要发现

• 神经参数化 Fokker–Planck 方程被推导为神经网络诱导的参数流形上 KL 散度的 $L^2$-Wasserstein 梯度流，通过 ODE 动力学实现高维求解。
• 所提的变分半隐式时间离散化方案确保了稳定性和收敛性，且满足 $|\theta_{k+1} - \theta_k| \to 0$ 当 $h \to 0^+$，保证了离散一致性。
• 该方法实现了基于采样的计算，无需基于网格的空间离散化，有效克服了 $d > 3$ 时的维度灾难。
• 理论分析为连续 ODE 系统与离散时间格式建立了渐近收敛界，误差受时间步长 $h$ 与参数流形几何结构的控制。
• 在 Wasserstein 流形上，测地线速度沿流保持恒定，且在 $λ$-强凸势条件下，相对熵的二阶导数满足 $\frac{d^2}{dt^2}\mathcal{H}(\rho_t) \geq \lambda W_2^2(\rho_0, \rho_1)$。
• 数值示例表明，该方法在准确采样与稳定动力学下，能有效逼近高维 Fokker–Planck 解。