[论文解读] Space-time deep neural network approximations for high-dimensional partial differential equations

Fabian Hornung, Arnulf Jentzen+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Numerical Methods in Computational Mathematics被引用 5

一句话总结

本文提出了一种用于高维柯尔莫哥洛夫偏微分方程（PDE）的空间-时间深度神经网络（DNN）逼近方法，利用费曼-费曼–卡公式和蒙特卡洛欧拉方案。证明了DNN中的参数数量在空间维数 $d$ 和反精度 $\varepsilon^{-1}$ 上至多呈多项式增长，从而克服了在 $[0,T] \times [a,b]^d$ 上整个时空解的维度灾难。

ABSTRACT

It is one of the most challenging issues in applied mathematics to approximately solve high-dimensional partial differential equations (PDEs) and most of the numerical approximation methods for PDEs in the scientific literature suffer from the so-called curse of dimensionality in the sense that the number of computational operations employed in the corresponding approximation scheme to obtain an approximation precision $\varepsilon>0$ grows exponentially in the PDE dimension and/or the reciprocal of $\varepsilon$. Recently, certain deep learning based approximation methods for PDEs have been proposed and various numerical simulations for such methods suggest that deep neural network (DNN) approximations might have the capacity to indeed overcome the curse of dimensionality in the sense that the number of real parameters used to describe the approximating DNNs grows at most polynomially in both the PDE dimension $d\in\mathbb{N}$ and the reciprocal of the prescribed accuracy $\varepsilon>0$. There are now also a few rigorous results in the scientific literature which substantiate this conjecture by proving that DNNs overcome the curse of dimensionality in approximating solutions of PDEs. Each of these results establishes that DNNs overcome the curse of dimensionality in approximating suitable PDE solutions at a fixed time point $T>0$ and on a compact cube $[a,b]^d$ in space but none of these results provides an answer to the question whether the entire PDE solution on $[0,T] imes [a,b]^d$ can be approximated by DNNs without the curse of dimensionality. It is precisely the subject of this article to overcome this issue. More specifically, the main result of this work in particular proves for every $a\in\mathbb{R}$, $ b\in (a,\infty)$ that solutions of certain Kolmogorov PDEs can be approximated by DNNs on the space-time region $[0,T] imes [a,b]^d$ without the curse of dimensionality.

研究动机与目标

• 填补现有基于深度学习的PDE求解器仅能近似固定时间点解的空白，而非整个时空域的解。
• 建立严格的数学证据，证明深度神经网络可以在计算成本不呈指数增长的情况下逼近高维PDE的完整解。
• 证明DNN能够克服柯尔莫哥洛夫PDE在完整时空区域 $[0,T] \times [a,b]^d$ 上的维度灾难。
• 提供一种结合随机微分方程逼近与DNN实现的构造性方法，实现参数的多项式缩放。
• 确保近似误差在时空域上的 $L^p$-范数中被 $\varepsilon$ 有界。

提出的方法

• 利用费曼–卡公式将柯尔莫哥洛夫PDE的解与随机过程泛函的期望联系起来。
• 采用蒙特卡洛欧拉逼近方法对与PDE相关的SDE进行离散化，从而实现解期望的数值计算。
• 构建深度神经网络以逼近蒙特卡洛欧拉逼近结果，确保网络参数在 $d$ 和 $\varepsilon^{-1}$ 上呈多项式增长。
• 通过DNN的复合结构建模随时间和空间变化的解，激活函数的选择旨在保持正则性和逼近精度。
• 利用欧拉-丸山方案和DNN逼近的误差估计，对 $[0,T] \times [a,b]^d$ 上的总误差在 $L^p$-范数中进行有界控制。
• 证明DNN中的参数数量被 $c \varepsilon^{-c} d^c$ 有界，其中常数 $c > 0$ 与维数 $d$ 和精度 $\varepsilon$ 无关。

实验结果

研究问题

• RQ1 深度神经网络能否在不引起计算成本指数增长的情况下，对高维柯尔莫哥洛夫PDE在整个时空域 $[0,T] \times [a,b]^d$ 上的完整解进行逼近？
• RQ2 使用时空DNN是否能克服高维PDE解逼近中的维度灾难，以参数数量的缩放为衡量标准？
• RQ3 蒙特卡洛欧拉方案与DNN的结合能否实现 $L^p$-误差被 $\varepsilon$ 有界的解逼近，同时保持参数的多项式增长？
• RQ4 能否构建一种DNN逼近方法，使得 $[0,T] \times [a,b]^d$ 上所有时空点的解误差均被一致有界？
• RQ5 所提出的方法是否确保DNN中的实参数数量在PDE维数 $d$ 和反精度 $\varepsilon^{-1}$ 上至多呈多项式增长？

主要发现

• 主要结果证明：对任意 $a \in \mathbb{R}$，$b \in (a, \infty)$，某些柯尔莫哥洛夫PDE在 $[0,T] \times [a,b]^d$ 上的解可通过DNN逼近，且不出现维度灾难。
• 近似DNN中的参数数量在空间维数 $d$ 和期望精度的倒数 $\varepsilon^{-1}$ 上至多呈多项式增长，具体有界于 $c \varepsilon^{-c} d^c$，其中常数 $c > 0$。
• $[0,T] \times [a,b]^d$ 上DNN逼近的 $L^p$-范数误差对任意 $\varepsilon \in (0,1]$ 被 $\varepsilon$ 有界。
• 通过实现与PDE相关的SDE的蒙特卡洛欧拉逼近的DNN复合结构实现逼近，确保收敛性和正则性。
• 该方法确保DNN实现 $\mathcal{R}_{\mathfrak{r}}(\mathfrak{u}_{d,\varepsilon})$ 是 $\mathbb{R}^{d+1}$ 上的连续函数，代表完整的时空解。
• 建立了关键的技术有界性：漂移和扩散系数是利普希茨连续的，初始条件是霍尔德连续且具有受控增长，从而支持稳定的DNN逼近。