[论文解读] Numerically Solving Parametric Families of High-Dimensional Kolmogorov Partial Differential Equations via Deep Learning

Julius Berner, Markus Dablander+1 more|arXiv (Cornell University)|Jan 1, 2020

Stochastic processes and financial applications被引用 17

一句话总结

本文提出一种深度学习方法，通过费曼-卡茨公式将高维参数化柯尔莫哥洛夫PDE族（如热方程和布莱克-斯科尔斯方程）重新表述为单一统计学习任务，从而求解。该方法训练一个单一深度神经网络，以在所有参数和时空点上近似解，在理论和实验中均表现出对高维问题的鲁棒性能，且不受维数灾难影响。

ABSTRACT

We present a deep learning algorithm for the numerical solution of parametric families of high-dimensional linear Kolmogorov partial differential equations (PDEs). Our method is based on reformulating the numerical approximation of a whole family of Kolmogorov PDEs as a single statistical learning problem using the Feynman-Kac formula. Successful numerical experiments are presented, which empirically confirm the functionality and efficiency of our proposed algorithm in the case of heat equations and Black-Scholes option pricing models parametrized by affine-linear coefficient functions. We show that a single deep neural network trained on simulated data is capable of learning the solution functions of an entire family of PDEs on a full space-time region. Most notably, our numerical observations and theoretical results also demonstrate that the proposed method does not suffer from the curse of dimensionality, distinguishing it from almost all standard numerical methods for PDEs.

研究动机与目标

• 解决高维参数化柯尔莫哥洛夫PDE族的数值求解挑战，此类问题因维数灾难而难以用标准方法求解。
• 开发一种可扩展的、数据驱动的方法，通过单一训练过程学习参数、空间和时间域上的完整解映射。
• 证明深度学习可在高维下避免经典PDE求解器的指数级计算成本，理论与实证均支持。

提出的方法

• 利用费曼-卡茨公式，将参数化柯尔莫哥洛夫PDE族的解重新表述为单一统计学习问题，将PDE解与随机过程的期望联系起来。
• 训练深度神经网络，将参数、空间坐标和时间映射到解值，从而在整个定义域上学习参数化解映射 $\bar{u}(\gamma, x, t) = u_\gamma(x, t)$。
• 采用多级架构结合残差连接和批量归一化，以提升训练稳定性和泛化性能。
• 使用带有自适应学习率调度和权重衰减的随机梯度下降，优化模拟数据上的网络参数。
• 利用蒙特卡洛近似生成训练数据，确保对底层随机过程的准确表示。
• 在基准问题上验证该方法，包括抛物面初值的热方程和具有仿射线性系数的布莱克-斯科尔斯模型。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否在所有参数、空间和时间上学习整个高维柯尔莫哥洛夫PDE族的解映射？
• RQ2 所提出的深度学习方法是否在近似误差和泛化误差中均避免了维数灾难，如理论与实证结果所示？
• RQ3 与标准前馈网络相比，带有批量归一化的多级架构在求解参数化PDE时性能如何？
• RQ4 该方法在多大程度上能准确预测解及其参数导数（如期权定价中的Vega）？
• RQ5 训练中使用的经验风险最小化过程在问题维度增加时是否能高效扩展？

主要发现

• 在具有抛物面初值的布莱克-斯科尔斯模型上，所提深度学习方法的 $\mathcal{L}^1$-误差约为 $0.0011$，显著优于前馈基线方法。
• 对于具有抛物面初值的热方程，方法在对数-对数图中保持线性计算成本增长，表明在维度 $d=15$ 以内无维数灾难现象。
• 带有批量归一化和残差连接的多级架构将布莱克-斯科尔斯模型上的平均 $\mathcal{L}^1$-误差降低至 $0.0012$，而无归一化的标准前馈网络误差为 $0.0526$。
• 该方法成功预测了解及其参数导数（Vega），如图6和图8所示，平均相对误差低于 $10^{-2}$。
• 实证结果表明，每轮训练时间随维度增长呈次线性扩展，且模型在紧集 $D$ 内未见参数值上泛化良好。
• 理论分析证实，该方法在网络规模和样本量方面均不受维数灾难影响，这是相对于经典数值PDE求解器的关键优势。