[论文解读] On the Representation of Solutions to Elliptic PDEs in Barron Spaces

Ziang Chen, Jianfeng Lu+1 more|arXiv (Cornell University)|Jun 14, 2021

Model Reduction and Neural Networks参考文献 41被引用 7

一句话总结

该论文证明，当系数和源项属于Barron空间时，高维二阶椭圆PDE的解可由Barron函数高效逼近。论文建立了随维度 $ d $ 多项式增长的显式维度 $ H^1 $-范数误差界，从而实现了通过两层神经网络进行神经网络逼近，并给出了明确的收敛速率。

ABSTRACT

Numerical solutions to high-dimensional partial differential equations (PDEs) based on neural networks have seen exciting developments. This paper derives complexity estimates of the solutions of $d$-dimensional second-order elliptic PDEs in the Barron space, that is a set of functions admitting the integral of certain parametric ridge function against a probability measure on the parameters. We prove under some appropriate assumptions that if the coefficients and the source term of the elliptic PDE lie in Barron spaces, then the solution of the PDE is $ε$-close with respect to the $H^1$ norm to a Barron function. Moreover, we prove dimension-explicit bounds for the Barron norm of this approximate solution, depending at most polynomially on the dimension $d$ of the PDE. As a direct consequence of the complexity estimates, the solution of the PDE can be approximated on any bounded domain by a two-layer neural network with respect to the $H^1$ norm with a dimension-explicit convergence rate.

研究动机与目标

• 确定高维椭圆PDE的解是否能通过神经网络高效表示。
• 以Barron空间范数为度量，量化此类表示的复杂度。
• 建立Barron函数对PDE解的 $ H^1 $-逼近的显式维度误差界。
• 证明两层神经网络可实现与维度灾难无关的收敛速率逼近该解。

提出的方法

• 作者通过Barron空间构建了泛函分析框架，Barron空间由概率测度加权的脊函数积分表示的函数构成。
• 通过分析PDE算子及其在Barron空间函数上的作用，推导了解的Barron范数界。
• 该方法涉及将PDE分解为系数矩阵 $ A $、势函数 $ c $ 和源项 $ f $ 的分量，假设其均属于Barron空间。
• 利用逆Laplacian的性质与傅里叶分析，证明在适当假设下，解算子可保持Barron正则性。
• 通过迭代逼近方法建立了解的Barron范数的递推估计，利用余弦激活神经网络的结构。
• 分析包括对近似解Barron范数的显式界，表明其对维度 $ d $ 呈多项式依赖。

实验结果

研究问题

• RQ1 高维二阶椭圆PDE的解能否由Barron空间中的函数逼近？
• RQ2 解的Barron范数对维度 $ d $ 和期望精度 $ \epsilon $ 的依赖关系如何？
• RQ3 激活函数的选择（如余弦函数）如何影响Barron范数界？
• RQ4 两层神经网络能否以显式维度的收敛速率逼近该解？

主要发现

• 若椭圆PDE的系数 $ A $、$ c $ 和源项 $ f $ 属于Barron空间，则解 $ u^* $ 可被Barron函数在 $ H^1 $-范数下 $ \epsilon $-逼近。
• 近似函数的Barron范数有界于 $ \mathcal{O}((d/\epsilon)^{C\log(1/\epsilon)}) $，表明其对 $ d $ 和 $ \epsilon^{-1} $ 呈多项式依赖。
• 对于余弦激活函数，Barron范数界改善为 $ \mathcal{O}(d^{C\log 1/\epsilon}) $，表明在高维下具有更好的可扩展性。
• 解可由两层神经网络以显式维度的 $ H^1 $-范数收敛速率逼近。
• 分析表明，在PDE系数满足较弱假设时，解算子可保持Barron正则性。