[论文解读] Solving Inverse Stochastic Problems from Discrete Particle Observations Using the Fokker-Planck Equation and Physics-informed Neural Networks

Xiaoli Chen, Liu Yang+2 more|arXiv (Cornell University)|Aug 24, 2020

Model Reduction and Neural Networks参考文献 19被引用 11

一句话总结

该论文提出了一种物理信息神经网络（PINN）框架，能够从未知初始概率密度函数（PDF）、漂移和扩散系数的稀疏离散粒子观测中推断福克-普朗克（FP）方程，并重建全时空的概率密度函数（PDF），即使在布朗运动和 Lévy 噪声下，也能在高达 5D 的情况下实现高精度。通过利用 Kullback-Leibler 散度将粒子数据与 FP 方程对齐，该方法成功解决了类型 I（未知初始 PDF）和类型 II（未知漂移与扩散系数）的反问题，且仅需极少数据。

ABSTRACT

The Fokker-Planck (FP) equation governing the evolution of the probability density function (PDF) is applicable to many disciplines but it requires specification of the coefficients for each case, which can be functions of space-time and not just constants, hence requiring the development of a data-driven modeling approach. When the data available is directly on the PDF, then there exist methods for inverse problems that can be employed to infer the coefficients and thus determine the FP equation and subsequently obtain its solution. Herein, we address a more realistic scenario, where only sparse data are given on the particles' positions at a few time instants, which are not sufficient to accurately construct directly the PDF even at those times from existing methods, e.g., kernel estimation algorithms. To this end, we develop a general framework based on physics-informed neural networks (PINNs) that introduces a new loss function using the Kullback-Leibler divergence to connect the stochastic samples with the FP equation, to simultaneously learn the equation and infer the multi-dimensional PDF at all times. In particular, we consider two types of inverse problems, type I where the FP equation is known but the initial PDF is unknown, and type II in which, in addition to unknown initial PDF, the drift and diffusion terms are also unknown. In both cases, we investigate problems with either Brownian or Levy noise or a combination of both. We demonstrate the new PINN framework in detail in the one-dimensional case (1D) but we also provide results for up to 5D demonstrating that we can infer both the FP equation and} dynamics simultaneously at all times with high accuracy using only very few discrete observations of the particles.

研究动机与目标

• 解决仅在少数时间点拥有稀疏离散粒子观测、而无直接 PDF 测量时的反随机问题挑战。
• 开发一种数据驱动方法，同时推断福克-普朗克方程的系数（漂移与扩散）并重建 PDF 的完整时间演化，即使初始 PDF 未知。
• 通过引入 Kullback-Leibler 散度扩展现有 PINN 方法，弥合粒子层面观测与 FP 方程之间的差距，实现在小样本数据下的物理信息学习。
• 在高维设置（最高达 5D）下，验证该方法在包括 Lévy 噪声和非局部动力学在内的多种随机过程中的鲁棒性与准确性。
• 提供一种可扩展的、无网格的框架，避免计算昂贵的数值积分，实现物理定律与观测数据的无缝结合。

提出的方法

• 训练物理信息神经网络（PINN）通过最小化复合损失函数，该函数结合了 FP 方程的残差误差与观测粒子样本与预测 PDF 之间的 Kullback-Leibler（KL）散度损失，以学习福克-普朗克方程。
• KL 散度损失通过变分形式计算，用于度量粒子位置经验分布与预测 PDF 之间的差异，实现无需从样本重建 PDF 的直接数据对齐。
• 该方法利用自动微分在时空域上强制满足 FP 方程，避免了结构化网格的使用，这对高维问题至关重要。
• 漂移与扩散系数通过多项式或深度神经网络参数化，实现对复杂非线性动力学的灵活且自适应建模。
• 对于非局部动力学（Lévy 噪声），FP 方程包含一个非局部积分项，其通过复合梯形法则或蒙特卡洛采样进行近似，具体取决于维度。
• 训练采用粒子数据和 PDE 残差点的随机小批量采样，即使在大规模数据集（如每时间快照 100,000 个粒子）下也能实现高效优化。

实验结果

研究问题

• RQ1 PINN 框架能否仅从稀疏离散粒子观测中准确重建 PDF 的完整时间演化，而无需直接的 PDF 测量？
• RQ2 当仅在少数时间点拥有粒子轨迹时，该方法在推断 FP 方程中未知的漂移与扩散系数方面表现如何？
• RQ3 在高维和非局部（Lévy）设置下，基于 KL 散度的损失在对齐粒子数据与 FP 方程方面表现如何？
• RQ4 该方法在从 1D 到 5D 的维度范围内，使用极少数据时，其准确性和效率如何随维度变化？
• RQ5 该框架能否同时处理布朗运动和 Lévy 噪声，包括它们的联合效应，在反随机问题中表现如何？

主要发现

• 该方法仅使用每时间点 100,000 个粒子样本，在 1D 和 5D 情况下均能准确重建 PDF 的完整演化，即使观测稀疏，仍保持高保真度。
• 在类型 I 反问题（未知初始 PDF）中，PINN 框架成功恢复了正确的初始条件及后续的 PDF 动力学，测试案例中相对误差低于 5%。
• 在类型 II 问题（未知漂移与扩散系数）中，框架能准确估计参数：在 2D Lévy 噪声情况下，估计的漂移系数与真实值误差在 3% 以内（例如，λ₁x = 1.0246 对比真实值 1.0），扩散参数误差小于 5%。
• 在 2D Lévy 噪声情况下，使用两个神经网络近似漂移项，相比多项式拟合，显著提升了参数恢复的准确性，尤其在非线性区域表现更优。
• 该方法在 3D 和 4D 布朗运动问题中表现出鲁棒性，参数演化在迭代过程中稳定收敛，并在所有时间点均实现了 PDF 的高精度重建。
• KL 散度损失显著提升了粒子数据与预测 PDF 之间的对齐效果，在数据有限且噪声较高的场景下，优于标准残差驱动的 PINN 损失。