[论文解读] Space-time error estimates for deep neural network approximations for differential equations

Philipp Grohs, Fabian Hornung+2 more|arXiv (Cornell University)|Aug 11, 2019

Model Reduction and Neural Networks被引用 6

一句话总结

本论文通过欧拉型时间离散化方法，为随机微分方程（SDE）解的深度神经网络（DNN）近似建立了时空误差估计。通过发展一种新型人工神经网络（ANN）微积分，并构建近似乘积和欧拉步长的DNN，作者证明了DNN近似误差随网络层数和神经元数呈多项式衰减，且显式依赖于时间范围、维度和网络深度。

ABSTRACT

Over the last few years deep artificial neural networks (DNNs) have very successfully been used in numerical simulations for a wide variety of computational problems including computer vision, image classification, speech recognition, natural language processing, as well as computational advertisement. In addition, it has recently been proposed to approximate solutions of partial differential equations (PDEs) by means of stochastic learning problems involving DNNs. There are now also a few rigorous mathematical results in the scientific literature which provide error estimates for such deep learning based approximation methods for PDEs. All of these articles provide spatial error estimates for neural network approximations for PDEs but do not provide error estimates for the entire space-time error for the considered neural network approximations. It is the subject of the main result of this article to provide space-time error estimates for DNN approximations of Euler approximations of certain perturbed differential equations. Our proof of this result is based (i) on a certain artificial neural network (ANN) calculus and (ii) on ANN approximation results for products of the form $[0,T] imes \mathbb{R}^d i (t,x)\mapsto tx\in \mathbb{R}^d$ where $T\in (0,\infty)$, $d\in \mathbb{N}$, which we both develop within this article.

研究动机与目标

• 通过提供针对扰动微分方程解的DNN近似在时空域上的严格误差估计，弥补现有文献中仅关注空间误差估计的空白。
• 开发一套全面的人工神经网络（ANN）微积分体系，专门用于分析时变PDE和随机过程的DNN近似。
• 构建能够准确近似随机微分方程欧拉离散化中出现的乘积与复合结构的DNN。
• 在空间和时间域上，为DNN近似欧拉格式推导先验与后验误差估计。
• 建立在时空域内实现给定精度所需网络规模（参数数量）的显式界。

提出的方法

• 发展了人工神经网络（ANN）的正式微积分，包括复合、并行化、求和及扩展等操作，以建模DNN中复杂函数近似的结构。
• 引入关键运算的ANN表示，如平方函数和多维乘积，从而支持欧拉步长近似的DNN构建。
• 使用ReLU激活函数，构建近似通过嵌套欧拉步长求解扰动随机微分方程的DNN。
• 通过界定真实欧拉近似与其中DNN表示在时空域中差异，建立先验误差估计。
• 利用詹森不等式与霍尔德不等式控制误差分析中高维向量求和与乘积的范数增长。
• 结合网络参数界与误差传播分析，推导出近似误差对网络深度、宽度及时间离散化步长的显式依赖关系。

实验结果

研究问题

• RQ1 深度神经网络能否为扰动随机微分方程的解提供准确的时空近似？
• RQ2 DNN的规模（参数数量）与时空域中其近似误差之间存在何种关系？
• RQ3 如何系统性地发展人工神经网络微积分，以支持基于DNN的微分方程求解器的严格误差分析？
• RQ4 近似随机微分方程欧拉离散化时，DNN近似误差的显式界是什么？
• RQ5 DNN近似误差能否在空间和时间上实现统一控制？其收敛速率如何？

主要发现

• 本论文首次为扰动随机微分方程解的DNN近似建立了时空误差估计，拓展了以往仅限于空间误差边界的成果。
• DNN近似误差被证明随网络层数和神经元数呈多项式衰减，且显式依赖于时间范围T、维度d和网络深度。
• 误差界形式为 $ \|Y^{d,N}_{t,x} - \mathcal{R}_a(\Psi_{\varepsilon,d,N,y})(t,x)\| \leq 20c^6 d^{1/2} N^{3/2} \varepsilon (1 + \|x\|^3 + \|y\|^3) $，其中 $ \varepsilon $ 控制近似精度。
• DNN的参数数量界为 $ \mathcal{P}(\Psi_{\varepsilon,d,N,y}) \leq 54c^4 N^6 d^{16+8\mathfrak{d}} (1 + |\ln \varepsilon|^2) $，显式依赖于时间离散化N、维度d和精度 $ \varepsilon $。
• 分析证明，DNN对欧拉格式解的近似误差在d和N上最多呈多项式增长，在 $ \varepsilon^{-1} $ 上呈对数增长，确保了可扩展性。
• 结果通过一种新型ANN微积分及对乘积与复合结构的近似推导得出，实现了对整个时空近似过程的严格控制。