[论文解读] Uniform error estimates for artificial neural network approximations for heat equations

Lukas Gonon, Philipp Grohs+3 more|arXiv (Cornell University)|Nov 20, 2019

Model Reduction and Neural Networks被引用 5

一句话总结

本文建立了人工神经网络（ANN）对热方程逼近的统一 $L^∞$ 误差估计，证明了在一致范数下达到 $±\varepsilon$ 精度所需的参数数量在维度 $d$ 和 $\varepsilon^{-1}$ 上至多呈多项式增长，从而表明 ANNs 可在这一更强的误差范式下克服维度灾难。该结果将先前基于 $L^p$ 的收敛保证扩展到了更严格的统一范数设置。

ABSTRACT

Recently, artificial neural networks (ANNs) in conjunction with stochastic gradient descent optimization methods have been employed to approximately compute solutions of possibly rather high-dimensional partial differential equations (PDEs). Very recently, there have also been a number of rigorous mathematical results in the scientific literature which examine the approximation capabilities of such deep learning based approximation algorithms for PDEs. These mathematical results from the scientific literature prove in part that algorithms based on ANNs are capable of overcoming the curse of dimensionality in the numerical approximation of high-dimensional PDEs. In these mathematical results from the scientific literature usually the error between the solution of the PDE and the approximating ANN is measured in the $L^p$-sense with respect to some $p \in [1,\infty)$ and some probability measure. In many applications it is, however, also important to control the error in a uniform $L^\infty$-sense. The key contribution of the main result of this article is to develop the techniques to obtain error estimates between solutions of PDEs and approximating ANNs in the uniform $L^\infty$-sense. In particular, we prove that the number of parameters of an ANN to uniformly approximate the classical solution of the heat equation in a region $ [a,b]^d $ for a fixed time point $ T \in (0,\infty) $ grows at most polynomially in the dimension $ d \in \mathbb{N} $ and the reciprocal of the approximation precision $ \varepsilon > 0 $. This shows that ANNs can overcome the curse of dimensionality in the numerical approximation of the heat equation when the error is measured in the uniform $L^\infty$-norm.

研究动机与目标

• 通过建立偏微分方程（PDE），特别是热方程的 ANN 逼近的统一 $L^\infty$ 误差估计，填补现有文献中的空白，因为以往的结果仅限于 $L^p$-范数的误差控制。
• 证明基于深度学习的方法在使用统一 $L^\infty$-范数衡量误差时，能够克服维度灾难，这是一种更严格且在实际中更相关的度量标准。
• 开发新型分析技术，以处理高维 PDE 中的统一误差控制，因为现有的基于 $L^p$ 的方法无法推广到 $L^\infty$ 设置。
• 为 ANN 在需要逐点精度的应用中提供严格的理论基础，例如控制理论、金融和工程模拟。

提出的方法

• 作者通过结合布朗运动的随机分析、PDE 正则性理论以及蒙特卡洛逼近技术，推导出定量的 $L^\infty$ 误差估计。
• 他们采用费曼-卡茨公式对热方程解进行概率表示，从而在误差分析中使用随机过程。
• 关键技术工具包括具有仿射系数的随机微分方程解及其解差值的先验估计，特别是对几何布朗运动的估计。
• 该方法涉及构建一种神经网络架构，用于逼近 PDE 的终端条件，并通过深层网络结构在时间上向前传播。
• 分析利用了索博列夫型估计和欧几里得球体的体积界，以控制一致范数下的逼近误差。
• 证明技术避免了对显式解析解的依赖，与 Elbrächter 等人 [20] 等先前工作不同，而是采用样本路径和样本收敛的论证方式。

实验结果

研究问题

• RQ1 当使用统一 $L^\infty$-范数衡量误差时，人工神经网络能否克服热方程的维度灾难？
• RQ2 在使用统一误差控制时，ANN 中的参数数量与维度 $d$ 和期望精度 $\varepsilon$ 之间的依赖关系如何？
• RQ3 用于 $L^p$-误差估计的技术能否被调整以获得 $L^\infty$-范数下的统一误差界？
• RQ4 是否可能构建一种基于深度学习的热方程逼近方法，实现与维度无关的收敛速率和统一误差控制？

主要发现

• 在时间 $T$ 对 $[a,b]^d$ 上的热方程解实现统一 $\varepsilon$-逼近所需的参数数量至多以 $\kappa d^{11 + 4\max\{p, \frac{1}{2}\}} \varepsilon^{-4}$ 的速率增长，其中 $\kappa$ 为绝对常数，$p$ 与初始条件的增长有关。
• 统一 $L^\infty$ 误差界在维度 $d$ 和逆精度 $\varepsilon^{-1}$ 上均呈多项式依赖，证实 ANNs 在此范数下可克服维度灾难。
• 该结果适用于一类初始条件 $u_d(0,x) = \ln(1 + e^{x_1 + \cdots + x_d - K_d}) + K_d$，其中 $|K_d| \leq c d^p$，这些初始条件光滑且呈次指数增长。
• 神经网络架构被构造为在 $\mathbb{R}^d$ 上输出连续函数，且网络参数显式地以 $d$ 和 $\varepsilon$ 表示。
• 该证明建立了在整个域 $[a,b]^d$ 上逼近误差的统一有界性，而不仅是在平均或积分意义下。