[论文解读] Stochastic projection based approach for gradient free physics informed learning

N Navaneeth, Souvik Chakraborty|arXiv (Cornell University)|Sep 25, 2022

Model Reduction and Neural Networks被引用 10

一句话总结

本文提出了一种无梯度的物理信息神经网络（SP-PINN），用基于随机投影的梯度估计替代自动微分，实现了对具有非光滑解、复杂区域和间断性的偏微分方程（PDE）的稳健求解。该方法在更少的配点下实现了高精度预测，支持不可微的激活函数和网络结构（如卷积神经网络），在具有挑战性的断裂力学问题中优于传统PINNs。

ABSTRACT

We propose a stochastic projection-based gradient free physics-informed neural network. The proposed approach, referred to as the stochastic projection based physics informed neural network (SP-PINN), blends upscaled stochastic projection theory with the recently proposed physics-informed neural network. This results in a framework that is robust and can solve problems involving complex solution domain and discontinuities. SP-PINN is a gradient-free approach which addresses the computational bottleneck associated with automatic differentiation in conventional PINN. Efficacy of the proposed approach is illustrated by a number of examples involving regular domain, complex domain, complex response and phase field based fracture mechanics problems. Case studies by varying network architecture (activation function) and number of collocation points have also been presented.

研究动机与目标

• 解决传统物理信息神经网络（PINNs）中自动微分带来的计算瓶颈问题。
• 实现对具有非光滑解、复杂几何形状和间断性的问题的鲁棒PINN训练。
• 消除对可微激活函数的依赖，从而支持使用ReLU、LeakyReLU甚至不可微的网络结构（如卷积神经网络CNNs）。
• 在配点有限的情况下提升训练效率与精度，尤其适用于高维或病态条件的PDE。
• 提供一种无网格、基于粒子的框架，支持灵活的网络架构与损失函数设计。

提出的方法

• SP-PINN框架将随机投影理论与物理信息神经网络相结合，实现无需依赖自动微分的梯度估计。
• 梯度通过随机投影框架内的滤波操作计算，利用局部邻近点近似导数。
• 该方法采用全连接的深度神经网络，包含4个隐层，特定层使用tanh和SELU激活函数，输出层为线性层。
• 通过使用精确的边界函数修改网络输出，以弱形式强制满足边界条件，确保满足狄利克雷约束。
• 损失函数结合了PDE残差误差、初始条件和边界条件，相场断裂模型通过变分能量公式引入。
• 相场模型中使用长度尺度参数 l₀ = 0.125 控制损伤区域宽度，裂纹扩展模拟中应用了自适应网格加密。

实验结果

研究问题

• RQ1 能否开发一种无梯度的PINN框架，避免在PDE求解中因自动微分带来的计算开销？
• RQ2 SP-PINN在具有非光滑解和复杂非平凡区域的PDE问题上表现如何？
• RQ3 SP-PINN能否有效建模相场断裂力学，实现准确的裂纹扩展与能量最小化？
• RQ4 该方法是否支持不可微的激活函数和网络结构（如CNNs）？
• RQ5 配点数量和网络架构如何影响SP-PINN的精度与收敛性？

主要发现

• SP-PINN在相场断裂问题中实现了准确的裂纹扩展预测，结果与真实解及AD-PINN基准高度一致。
• 该方法成功求解了20×20粗网格下的二维断裂力学问题，并结合自适应加密，在三个位移步长下捕捉到裂纹演化过程。
• SP-PINN在建模非光滑解和间断性方面表现出强鲁棒性，在复杂区域问题中优于传统PINNs。
• 由于消除了对自动微分的梯度计算，使用ReLU和LeakyReLU等不可微激活函数成为可能。
• 即使在配点数量有限的情况下，该框架仍保持高精度，相比标准PINN方法显著降低了计算成本。
• 相场演化与裂纹扩展过程被准确捕捉，图20和图21的可视化结果与精确解高度吻合。