[论文解读] Self-Consistency of the Fokker-Planck Equation

Zebang Shen, Zhenfu Wang+4 more|arXiv (Cornell University)|Jun 2, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

该论文通过自洽性原理学习福克-普朗克方程（FPE）的驱动速度场，其中真实速度场是源自FPE的变换的不动点。通过最小化一种新颖的势函数以度量自洽性偏差，该方法确保生成的密度轨迹在Wasserstein-2意义下收敛至真实的FPE解，且通过神经ODE参数化实现高效训练，同时保证非负性和单位质量。

ABSTRACT

The Fokker-Planck equation (FPE) is the partial differential equation that governs the density evolution of the Itô process and is of great importance to the literature of statistical physics and machine learning. The FPE can be regarded as a continuity equation where the change of the density is completely determined by a time varying velocity field. Importantly, this velocity field also depends on the current density function. As a result, the ground-truth velocity field can be shown to be the solution of a fixed-point equation, a property that we call self-consistency. In this paper, we exploit this concept to design a potential function of the hypothesis velocity fields, and prove that, if such a function diminishes to zero during the training procedure, the trajectory of the densities generated by the hypothesis velocity fields converges to the solution of the FPE in the Wasserstein-2 sense. The proposed potential function is amenable to neural-network based parameterization as the stochastic gradient with respect to the parameter can be efficiently computed. Once a parameterized model, such as Neural Ordinary Differential Equation is trained, we can generate the entire trajectory to the FPE.

研究动机与目标

• 为解决福克-普朗克方程（FPE）的求解挑战，通过学习其潜在速度场而非直接学习密度。
• 基于FPE的自洽性特性，建立速度场学习的理论基础。
• 设计一种可微分的势函数，用于度量假设速度场与FPE固定点条件的接近程度。
• 确保通过该势函数训练速度场时，其生成的解在Wasserstein-2意义下收敛至真实的FPE密度。
• 通过神经ODE参数化速度场，实现高效的梯度计算，并保证物理特性（非负性、单位质量）。

提出的方法

• 定义一个速度自洽变换𝒜[f]，将假设速度场f映射为由f的前推所隐含的速度场。
• 引入自洽性势函数R(f)，即差值δ = f − 𝒜[f]在时间上的平均L² Sobolev范数，用于度量与不动点行为的偏离程度。
• 证明若当n → ∞时R(fₙ) → 0，则由f∞生成的密度轨迹在Wasserstein-2意义下收敛至真实的FPE解。
• 使用神经ODE fθ参数化速度场，实现连续的、基于流的完整密度轨迹生成。
• 利用伴随敏感性方法，推导出R(fθ)关于θ的高效随机梯度，支持端到端训练。
• 通过构造保证物理一致性：生成的密度非负且积分值为1，优于以往用于FPE的深度学习方法。

实验结果

研究问题

• RQ1 能否通过学习福克-普朗克方程的潜在速度场而非直接学习密度，来恢复其解？
• RQ2 学习速度场在何种理论条件下可导致收敛至真实的FPE解？
• RQ3 如何构建一种可微分的势函数，以度量假设速度场的自洽性？
• RQ4 能否为速度场的神经网络参数化高效计算该势函数的梯度？
• RQ5 在该势函数上进行训练是否能保持密度的非负性和单位质量等基本物理特性？

主要发现

• 福克-普朗克方程的自洽性被形式化为速度场上的不动点条件，其中真实速度场f*满足f* = 𝒜[f*]。
• 构造了势函数R(f)作为f − 𝒜[f]的时间平均Sobolev范数，用于量化自洽性破坏程度。
• 若当n → ∞时R(fₙ) → 0，则由f∞生成的密度在Wasserstein-2度量下收敛至真实的FPE解。
• 当fθ以神经ODE参数化时，势函数R(fθ)可进行反向传播，支持通过随机优化实现高效训练。
• 由于前推构造和周期边界条件下的质量守恒，该方法保证生成的密度非负且积分值为1。
• 该方法在保持物理约束方面优于以往方法，并支持从学习到的速度场端到端学习完整的时间演化密度轨迹。