[论文解读] Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks

Raghav Gnanasambandam, Bo Shen+4 more|arXiv (Cornell University)|Apr 26, 2022

Model Reduction and Neural Networks被引用 14

一句话总结

本文提出自适应可扩展双曲正切激活函数（Stan），一种可训练、平滑且非饱和的激活函数，专为物理信息神经网络（PINNs）设计，可增强梯度流动并实现输入-输出映射的系统性缩放。Stan 消除了虚假驻点，实现更快收敛与更好泛化性能，尤其在高输出幅值问题中表现优异，优于现有激活函数在偏微分方程（PDE）正问题与逆问题中的表现。

ABSTRACT

Physics-informed Neural Networks (PINNs) are gaining attention in the engineering and scientific literature for solving a range of differential equations with applications in weather modeling, healthcare, manufacturing, etc. Poor scalability is one of the barriers to utilizing PINNs for many real-world problems. To address this, a Self-scalable tanh (Stan) activation function is proposed for the PINNs. The proposed Stan function is smooth, non-saturating, and has a trainable parameter. During training, it can allow easy flow of gradients to compute the required derivatives and also enable systematic scaling of the input-output mapping. It is shown theoretically that the PINNs with the proposed Stan function have no spurious stationary points when using gradient descent algorithms. The proposed Stan is tested on a number of numerical studies involving general regression problems. It is subsequently used for solving multiple forward problems, which involve second-order derivatives and multiple dimensions, and an inverse problem where the thermal diffusivity of a rod is predicted with heat conduction data. These case studies establish empirically that the Stan activation function can achieve better training and more accurate predictions than the existing activation functions in the literature.

研究动机与目标

• 解决物理信息神经网络（PINNs）中梯度消失与输出尺度不稳定的难题，这些问题是训练与泛化性能受限的关键原因。
• 开发一种激活函数，使在 PINNs 的反向传播过程中实现平滑、可扩展且可训练的梯度流动。
• 通过理论基础坚实的激活函数，消除 PINN 优化中的虚假驻点。
• 提升涉及偏微分方程（PDE）的正问题与逆问题中的训练速度与预测准确性。
• 在标准激活函数失效的高输出幅值场景中，实现稳健性能。

提出的方法

• 提出一种新型激活函数——自适应可扩展双曲正切（Stan），定义为 $ \text{Stan}(x) = \beta \cdot \tanh(x) $，其中 $ \beta $ 为每个神经元可训练的参数。
• 将 Stan 集成至 PINNs 的隐藏层中，以实现激活值的动态缩放与梯度传播的优化。
• 理论上证明：在梯度下降下，使用 Stan 的 PINNs 不会出现虚假驻点，从而确保收敛至全局最小值。
• 构建损失函数，包含数据拟合项与物理一致性项，梯度通过可微分的 Stan 函数反向传播计算。
• 采用随机梯度下降训练网络，联合优化网络权重与可训练的 $ \beta $ 参数。
• 利用 $ \beta $ 的自适应缩放特性，实现无需归一化的训练，避免对输出归一化的依赖。

实验结果

研究问题

• RQ1 可训练的激活函数是否能消除 PINN 优化中的虚假驻点，从而确保收敛至全局最小值？
• RQ2 Stan 的自适应缩放特性如何提升高输出幅值问题中 PINNs 的梯度流动与训练稳定性？
• RQ3 在正问题与逆问题的偏微分方程（PDE）求解中，Stan 是否在收敛速度与预测准确性方面优于标准激活函数（如 tanh、ReLU、SELU）？
• RQ4 Stan 是否能在无需输出归一化的情况下，有效处理包含二阶导数与多维空间的 PDE 问题？
• RQ5 在逆问题中，例如从热传导数据中识别热扩散率，Stan 的表现如何？

主要发现

• 理论证明 Stan 消除了 PINN 优化中的虚假驻点，确保梯度下降收敛至全局最小值。
• 在所有测试的回归、正问题与逆问题中，Stan 的收敛速度均快于基线激活函数。
• 在高输出幅值问题中（如 0–2000°C 的温度预测），Stan 显著优于标准激活函数，后者常因梯度消失而失效。
• 在识别热扩散率的逆问题中，Stan 的预测结果比现有激活函数更准确且更稳定。
• 实验结果表明，Stan 具有更强泛化能力，在正问题与逆问题的未见数据点上均能生成更精确的预测。
• 可训练的 $ \beta $ 参数可实现输出范围的自动缩放，无需数据归一化，显著提升实际应用中的鲁棒性。