[论文解读] On the approximation of the solution of partial differential equations by artificial neural networks trained by a multilevel Levenberg-Marquardt method

Henri Calandra, Serge Gratton+2 more|arXiv (Cornell University)|Apr 9, 2019

Model Reduction and Neural Networks参考文献 49被引用 4

一句话总结

本文提出了一种多层Levenberg-Marquardt方法，用于训练前馈神经网络以逼近偏微分方程（PDE）的解。通过将问题表述为最小二乘优化问题，以PDE残差作为损失函数，并引入一种受代数多重网格（AMG）启发的启发式层次结构转移算子，该方法在不牺牲解精度的前提下，实现了更快的收敛速度和更低的计算成本——浮点运算次数最高减少2倍。

ABSTRACT

This paper is concerned with the approximation of the solution of partial differential equations by means of artificial neural networks. Here a feedforward neural network is used to approximate the solution of the partial differential equation. The learning problem is formulated as a least squares problem, choosing the residual of the partial differential equation as a loss function, whereas a multilevel Levenberg-Marquardt method is employed as a training method. This setting allows us to get further insight into the potential of multilevel methods. Indeed, when the least squares problem arises from the training of artificial neural networks, the variables subject to optimization are not related by any geometrical constraints and the standard interpolation and restriction operators cannot be employed any longer. A heuristic, inspired by algebraic multigrid methods, is then proposed to construct the multilevel transfer operators. Numerical experiments show encouraging results related to the efficiency of the new multilevel optimization method for the training of artificial neural networks, compared to the standard corresponding one-level procedure.

研究动机与目标

• 为解决在高维或高度非线性PDE中训练人工神经网络（ANN）时，标准优化方法收敛缓慢且计算成本高的挑战。
• 通过构建优化问题的层次结构，将通常用于求解PDE的多重网格原理扩展至人工神经网络的训练过程。
• 在缺乏网络权重几何结构的情况下，提出一种启发式方法来定义多层转移算子，其灵感来源于代数多重网格（AMG）技术。
• 评估多层优化是否在收敛速度和计算效率方面优于标准的一层Levenberg-Marquardt训练方法，用于PDE解的逼近。
• 探索将多层优化方法应用于非几何结构、大规模最小二乘问题的可行性，这些问题在神经网络训练中常见。

提出的方法

• 使用前馈神经网络来逼近PDE的解，以PDE残差作为非线性最小二乘问题中的损失函数。
• 采用多层Levenberg-Marquardt（MLM）方法求解训练问题，利用一系列更粗粒度的优化问题层次来加速收敛。
• 提出一种启发式转移算子构造方法，受代数多重网格（AMG）启发，即使在权重缺乏几何约束的情况下，也能在精细与粗粒度网络权重空间之间进行映射。
• 该方法应用于一维和二维PDE，包括Helmholtz方程和非线性椭圆方程，涵盖不同网络宽度和PDE参数。
• 从迭代次数、均方根误差（RMSE）和计算成本（浮点运算次数）三个方面，将MLM方法与标准的一层Levenberg-Marquardt（LM）方法进行比较。
• 该方法可推广至其他由神经网络表示解的最小二乘问题，包括常微分方程（ODE）和反问题。

实验结果

研究问题

• RQ1 传统上用于求解PDE的多层优化技术，能否有效适配于人工神经网络的PDE解逼近训练？
• RQ2 当优化变量（网络权重）缺乏几何结构时，如何构建有效的多层转移算子？
• RQ3 所提出的多层Levenberg-Marquardt方法在收敛速度和计算成本方面是否优于标准的一层方法，用于与PDE相关的训练问题？
• RQ4 与一层训练相比，多层方法在解的精度保持方面表现如何，特别是在复杂或高维PDE中？
• RQ5 该方法能否扩展至更深或更深层的神经网络？在非线性程度增加时会面临哪些挑战？

主要发现

• 在大多数测试案例中，多层Levenberg-Marquardt（MLM）方法所需的迭代次数少于一层方法，尤其在非线性程度较高的问题中（如ν=20）。
• 尽管在某些情况下迭代次数更多，MLM方法仍使总浮点运算次数减少了最多5.3倍（一维问题）和1.8倍（二维问题），平均提升约2倍。
• MLM与一层训练的解的均方根误差（RMSE）保持相当，ν=20时为10⁻⁵，ν=1时为10⁻³，表明精度未下降。
• 对于带狄利克雷边界条件的二维Helmholtz方程，该方法在少于200次迭代内即获得合理逼近，即使进一步迭代也无法提升精度。
• 该方法在不同类型的PDE和网络规模下表现出鲁棒性，且在更复杂问题（需要更高网络宽度，r=2⁹）中性能增益更显著。
• 基于代数多重网格原理的启发式转移算子构造在缺乏权重几何约束的情况下，仍能有效建立功能性的多层层次结构。