[论文解读] Score-Based Physics-Informed Neural Networks for High-Dimensional Fokker-Planck Equations

Zheyuan Hu, Zhongqiang Zhang+2 more|arXiv (Cornell University)|Feb 12, 2024

Model Reduction and Neural Networks被引用 5

一句话总结

引入一种基于分数的求解器用于高维 Fokker-Planck 方程，通过学习分数函数（使用 Score Matching、Sliced Score Matching，或 Score-PINN），然后求解 对数似然 ODE 以获得 LL 和 PDF，从而应对维度灾难。

ABSTRACT

The Fokker-Planck (FP) equation is a foundational PDE in stochastic processes. However, curse of dimensionality (CoD) poses challenge when dealing with high-dimensional FP PDEs. Although Monte Carlo and vanilla Physics-Informed Neural Networks (PINNs) have shown the potential to tackle CoD, both methods exhibit numerical errors in high dimensions when dealing with the probability density function (PDF) associated with Brownian motion. The point-wise PDF values tend to decrease exponentially as dimension increases, surpassing the precision of numerical simulations and resulting in substantial errors. Moreover, due to its massive sampling, Monte Carlo fails to offer fast sampling. Modeling the logarithm likelihood (LL) via vanilla PINNs transforms the FP equation into a difficult HJB equation, whose error grows rapidly with dimension. To this end, we propose a novel approach utilizing a score-based solver to fit the score function in SDEs. The score function, defined as the gradient of the LL, plays a fundamental role in inferring LL and PDF and enables fast SDE sampling. Three fitting methods, Score Matching (SM), Sliced SM (SSM), and Score-PINN, are introduced. The proposed score-based SDE solver operates in two stages: first, employing SM, SSM, or Score-PINN to acquire the score; and second, solving the LL via an ODE using the obtained score. Comparative evaluations across these methods showcase varying trade-offs. The proposed method is evaluated across diverse SDEs, including anisotropic OU processes, geometric Brownian, and Brownian with varying eigenspace. We also test various distributions, including Gaussian, Log-normal, Laplace, and Cauchy. The numerical results demonstrate the score-based SDE solver's stability, speed, and performance across different settings, solidifying its potential as a solution to CoD for high-dimensional FP equations.

研究动机与目标

• 激发在高维 Fokker-Planck 方程和布朗运动背景下克服维度灾难的必要性。
• 提出一个基于分数的框架，使用对数似然梯度（分数）来推断 LL 和 PDF。
• 介绍三种拟合方法（Score Matching、Sliced Score Matching、Score-PINN）用于学习分数函数。
• 展示一个两阶段求解工作流：先拟合分数函数；再求解 LL ODE 以获得 LL/PDF。

提出的方法

• 建模分数函数 s_t(x) = ∇_x log p_t(x) 并展示其在推断 LL q_t(x) 和实现快速 SDE 采样中的作用。
• 使用 Score-PINN、Score Matching，或 Sliced Score Matching 拟合分数，并采用相应的损失（Score-PINN 损失包括初始项和残差项；SM/SSM 损失）。
• 使用学习到的分数求解 LL ODE ∂_t q_t(x) = L[s_t](x,t) 以得到 q_t(x)，从而得到 p_t(x)。
• 使用两阶段程序：第一阶段学习分数；第二阶段求解 LL ODE（或通过确定性 ODE 的 LL 采样来采样）。
• 就计算复杂度、准确性和适用性比较 SM、SSM 和 Score-PINN。

实验结果

研究问题

• RQ1 如何高效地为高维 FP 方程学习分数函数，以在 PDF 中避免数值溢出？
• RQ2 在精度、速度和维度可扩展性方面，Score Matching、Sliced Score Matching 与 Score-PINN 的权衡是什么？
• RQ3 学习到的分数函数是否能够在不直接建模 PDF 的情况下实现对对数似然和概率密度的准确推断？
• RQ4 使用学习到的分数求解 LL ODE 在不同的 SDE 和分布下的表现如何？
• RQ5 相较于 vanilla PINN 或蒙特卡洛方法，分数基方法是否能克服高维 FP 方程的维度灾难？

主要发现

• 基于分数的 SDE 求解器在变换的实验设置中表现出稳定性、速度和性能。
• SM 是最快的方法，其次是 SSM，Score-PINN 在更高的计算成本下提供更高的准确性。
• 基于分数的方法产出的结果具有鲁棒性，线性随维度扩展，解决了高维 FP 方程中的维度灾难问题。
• 学习分数避免了直接建模 PDF 或 LL 时的数值溢出问题。
• 由于更高阶的监督，Score-PINN 在准确性方面通常优于 SM/SSM，但在计算成本上存在权衡。