[论文解读] Solving for high dimensional committor functions using neural network with online approximation to derivatives.

Haoya Li, Yuehaw Khoo+2 more|arXiv (Cornell University)|Dec 12, 2020

Model Reduction and Neural Networks参考文献 6被引用 4

一句话总结

本文提出一种基于神经网络的方法，通过将福克-普朗克方程改写为微分算子半群的积分形式，计算高维的共性函数。变分公式通过神经网络参数化求解，实现无需二阶导数的随机梯度下降训练，数值结果证实该方法在高维设置下的有效性。

ABSTRACT

This paper proposes a new method based on neural networks for computing the high-dimensional committor functions that satisfy Fokker-Planck equations. Instead of working with partial differential equations, the new method works with an integral formulation that involves the semigroup of the differential operator. The variational form of the new formulation is then solved by parameterizing the committor function as a neural network. As the main benefit of this new approach, stochastic gradient descent type algorithms can be applied in the training of the committor function without the need of computing any second-order derivatives. Numerical results are provided to demonstrate the performance of the proposed method.

研究动机与目标

• 为解决由福克-普朗克方程控制的高维共性函数计算挑战。
• 克服传统基于PDE的方法在共性函数计算中处理二阶导数的困难。
• 开发一种可扩展且高效的数值方法，用于高维系统，结合神经网络与变分公式。
• 通过避免显式计算海塞矩阵或二阶导数，实现共性函数的随机梯度下降训练。

提出的方法

• 该方法利用微分算子的半群，将福克-普朗克方程改写为积分方程。
• 通过深度神经网络参数化共性函数，以实现灵活的函数逼近。
• 从积分方程推导出变分公式，以支持基于梯度的优化方法。
• 应用随机梯度下降训练神经网络参数，而无需计算二阶导数。
• 通过利用积分表示和神经网络函数逼近，避免直接求解偏微分方程。

实验结果

研究问题

• RQ1 基于神经网络的方法是否能有效计算高维共性函数，而无需直接求解偏微分方程？
• RQ2 通过半群算子实现的积分公式是否能在高维下实现稳定且准确的共性函数逼近？
• RQ3 通过变分公式避免二阶导数计算，是否在保持精度的同时提升训练效率？
• RQ4 与传统基于PDE的方法相比，该方法在高维系统中的性能表现如何？

主要发现

• 所提出的方法通过避免直接求解偏微分方程，成功计算了高维共性函数。
• 基于半群的积分公式能够实现稳定且适用于神经网络优化的变分公式。
• 由于训练过程中无需二阶导数，随机梯度下降可被有效应用。
• 数值结果表明，该方法在高维测试案例中具有可行性与良好性能，证实了其计算可行性。