[论文解读] Solving Falkner-Skan type equations via Legendre and Chebyshev Neural Blocks

Alireza Afzal Aghaei, Kourosh Parand+2 more|arXiv (Cornell University)|Aug 7, 2023

Neural Networks and Applications被引用 7

一句话总结

该论文提出了一种新颖的深度学习架构——勒让德与切比雪夫神经块（LCDNN），利用正交多项式高精度求解非线性法尔克纳-斯坎方程。通过将导数的运算矩阵整合到网络中，该方法降低了反向传播的复杂度，并在多种流动构型（包括布拉修斯流和波赫劳森流）下实现了优异的收敛性和精度。

ABSTRACT

In this paper, a new deep-learning architecture for solving the non-linear Falkner-Skan equation is proposed. Using Legendre and Chebyshev neural blocks, this approach shows how orthogonal polynomials can be used in neural networks to increase the approximation capability of artificial neural networks. In addition, utilizing the mathematical properties of these functions, we overcome the computational complexity of the backpropagation algorithm by using the operational matrices of the derivative. The efficiency of the proposed method is carried out by simulating various configurations of the Falkner-Skan equation.

研究动机与目标

• 开发一种深度学习框架，利用正交多项式提升对非线性常微分方程的逼近精度。
• 通过嵌入基于勒让德和切比雪夫多项式的导数运算矩阵，降低反向传播中的计算复杂度。
• 在基准法尔克纳-斯坎问题（包括布拉修斯流、波赫劳森流和希门策流）上验证所提架构的性能。
• 将基于勒让德与切比雪夫的深度神经网络（LCDNN）与现有数值和解析方法进行性能对比。
• 展示该方法在法尔克纳-斯坎方程不同参数（如 α 和 β）下的可扩展性与鲁棒性。

提出的方法

• 设计勒让德块（LegendreBlock）与切比雪夫块（ChebyshevBlock）作为专用神经网络层，使用勒让德与切比雪夫正交多项式作为激活函数。
• 引入导数的运算矩阵，以解析方式计算梯度，从而减少反向传播过程中对数值微分的依赖。
• 利用这些模块构建深度神经网络架构，以弱形式逼近法尔克纳-斯坎方程的解。
• 通过在配点上最小化均方误差（MSE）和残差误差指标来训练网络。
• 使用PyTorch实现模型并启用GPU加速，以提升训练速度与可扩展性。
• 将该方法应用于法尔克纳-斯坎方程的多种构型，包括不同 α 和 β 值，以评估其泛化能力与精度。

Figure 1: A boundary layer flow over a wedge

实验结果

研究问题

• RQ1 勒让德与切比雪夫神经块是否能显著提升深度神经网络在求解非线性两点边值问题时的逼近精度？
• RQ2 导数的运算矩阵在多大程度上降低了求解微分方程的神经网络中反向传播的计算成本？
• RQ3 与泰勒级数及高阶格式等既有的数值方法相比，所提出的LCDNN方法在精度与收敛速度方面表现如何？
• RQ4 正交多项式性质的整合是否增强了网络在多样化法尔克纳-斯坎流动构型下的泛化能力？
• RQ5 该方法在极端参数值（如法尔克纳-斯坎方程中 β = 40）下是否仍能保持高精度？

主要发现

• LCDNN方法求得布拉修斯流的解为 g′′(0) = 0.3320590，与基准值（如Parand: 0.3320573）高度一致，MSE为8.942052e-08。
• 对于波赫劳森流（α=0, β=1），LCDNN计算出的 g′′(0) = 1.154709，与解析值1.154700538一致。
• 在霍曼流（α=1, β=0.5）中，LCDNN结果为1.311937，与标准解的误差在1e-5以内，优于LDNN方法。
• 对于高β值（如β=40），LCDNN计算出的 g′′(0) = 7.314785，与QLM、泰勒级数及高阶方法在六位小数内完全一致。
• 该方法在所有测试构型中均表现出一致的高精度，平均绝对误差（MAE）低于3e-4，残差误差随训练轮次稳步下降。
• 使用运算矩阵显著缩短了训练时间并提升了收敛性，表现为损失函数随训练轮次下降，且在整个定义域内残差保持较低水平。

Figure 2: Legendre and Chebyshev Blocks