[论文解读] Numerical Solution and Bifurcation Analysis of Nonlinear Partial Differential Equations with Extreme Learning Machines

Gianluca Fabiani, Francesco Calabrò+2 more|arXiv (Cornell University)|Apr 13, 2021

Model Reduction and Neural Networks参考文献 69被引用 79

一句话总结

该论文提出了一种基于极限学习机（ELMs）的新型数值格式，采用S型函数和径向基函数，用于计算非线性PDE的稳态解与分岔图。通过采用配点法和一步最小二乘法求解输出权重，该方法避免了迭代训练，相较于有限差分法和有限元法，在中等至大网格下实现了更高的精度，尤其在Burgers方程和Bratu–Gelfand方程的陡峭梯度区及转折点附近表现更优。

ABSTRACT

We address a new numerical scheme based on a class of machine learning methods, the so-called Extreme Learning Machines with both sigmoidal and radial-basis functions, for the computation of steady-state solutions and the construction of (one dimensional) bifurcation diagrams of nonlinear partial differential equations (PDEs). For our illustrations, we considered two benchmark problems, namely (a) the one-dimensional viscous Burgers with both homogeneous (Dirichlet) and non-homogeneous mixed boundary conditions, and, (b) the one and two-dimensional Liouville-Bratu-Gelfand PDEs with homogeneous Dirichlet boundary conditions. For the one-dimensional Burgers and Bratu PDEs, exact analytical solutions are available and used for comparison purposes against the numerical derived solutions. Furthermore, the numerical efficiency (in terms of accuracy and size of the grid) of the proposed numerical machine learning scheme is compared against central finite differences (FD) and Galerkin weighted-residuals finite-element methods (FEM). We show that the proposed ELM numerical method outperforms both FD and FEM methods for medium to large sized grids, while provides equivalent results with the FEM for low to medium sized grids.

研究动机与目标

• 开发一种基于极限学习机（ELMs）的、与问题无关的数值格式，用于求解具有陡峭梯度的非线性PDE。
• 将ELMs的应用从分类拓展至数值分析，特别是用于PDE的稳态解求解。
• 展示ELMs通过伪弧长延拓法构建一维分岔图的能力。
• 从精度和效率两方面，将ELM方法与成熟的中心有限差分法（FD）和伽辽金有限元法（FEM）进行对比。
• 在基准问题上验证该方法：一维黏性Burgers方程和Liouville–Bratu–Gelfand PDE，其已知解析解和转折点。

提出的方法

• 该方法采用单隐层ELMs，结合S型函数（SF）和径向基函数（RBF）激活函数，以逼近非线性PDE的解。
• 在定义域内的一组训练点上应用配点法，以强形式强制满足PDE和边界条件。
• 通过一次最小二乘法求解输出权重，避免迭代优化，实现快速计算。
• 将伪弧长延拓法与牛顿-拉夫森迭代相结合，以追踪转折点后的解分支并构建分岔图。
• 该方法应用于具有狄利克雷边界条件的一维黏性Burgers方程和Liouville–Bratu–Gelfand PDE。
• 通过将ELM结果与解析解、FD和FEM在不同网格尺寸下的结果进行比较，评估其数值性能。

实验结果

研究问题

• RQ1 ELMs能否有效逼近具有陡峭梯度的非线性PDE的稳态解，如黏性Burgers方程和Bratu–Gelfand方程？
• RQ2 在中等至大网格尺寸下，基于ELM的配点法在精度和效率方面与中心有限差分法和伽辽金有限元法相比如何？
• RQ3 ELMs能否成功集成到数值延拓技术中，以实现对转折点之后分岔图的追踪？
• RQ4 激活函数类型（S型与RBF）对非线性PDE的ELM解的收敛性和精度有何影响？
• RQ5 ELM方法在参数依赖PDE的关键点（如极限点）附近是否能保持高精度？

主要发现

• 对于二维Bratu问题，ELM方法将转折点估计为λ ≈ 6.8069，与文献值6.808124相比，相对误差约为0.01%。
• 在λ=1的径向Gelfand-Bratu问题中，采用RBF激活函数的ELM在N=1600个神经元时达到最低L2误差（1.2×10−10），优于FD和FEM。
• 在一维Burgers方程中，ELM在40×40网格上实现L2误差低于10−10，与解析解高度一致，而FD和FEM的误差更高。
• 在中等至大网格尺寸（N≥196）下，ELM方法在逼近转折点位置方面优于FD和FEM，表现出更高的精度。
• ELM方法在边界附近陡峭梯度区域表现出鲁棒性，而FD方法因分辨率不足而失效。
• ELM的实现显著简化于FEM，同时在高分辨率区域实现了相当或更优的精度。