[论文解读] Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity

Faris Chaudhry|arXiv (Cornell University)|Mar 13, 2026

Quantum many-body systems被引用 0

一句话总结

该论文通过实证研究描述了宽度与非线性在单层 PINN 中的相互作用，揭示了优化驱动的宽度病态以及在非线性 PDE（KdV、Sine-Gordon、Allen-Cahn）中非可分的缩放行为。

ABSTRACT

We establish empirical scaling laws for Single-Layer Physics-Informed Neural Networks on canonical nonlinear PDEs. We identify a dual optimization failure: (i) a baseline pathology, where the solution error fails to decrease with network width, even at fixed nonlinearity, falling short of theoretical approximation bounds, and (ii) a compounding pathology, where this failure is exacerbated by nonlinearity. We provide quantitative evidence that a simple separable power law is insufficient, and that the scaling behavior is governed by a more complex, non-separable relationship. This failure is consistent with the concept of spectral bias, where networks struggle to learn the high-frequency solution components that intensify with nonlinearity. We show that optimization, not approximation capacity, is the primary bottleneck, and propose a methodology to empirically measure these complex scaling effects.

研究动机与目标

• 量化网络宽度如何影响经典非线性 PDE 的 PINN 精度。
• 探究在实务中是否存在简单的可分离宽度–非线性缩放规律。
• 区分单层 PINN 中的优化瓶颈与近似极限。
• 评估在非线性作用下光谱偏置对学习高频解分量的影响。

提出的方法

• 使用单层神经网络（SLN）求解带可选时间的一维 PDE，最小化结合 PDE 残差、边界与初始条件的加权损失。
• 定义硬度参数 κ 来控制各 PDE 的非线性效应。
• 系统性遍历网络宽度 N ∈ {16,32,64,128,256,512,1024} 及 κ 值，对三类非线性 PDE（KdV、Sine-Gordon、Allen-Cahn）进行实验。
• 在 tanh 与 ReLU 激活以及多个随机种子下测试；在精细测试网格上评估相对均方误差的平均值。
• 将误差拟合为包含对数线性形式的模型：error ~ A * N^{-alpha}，并扩展非可分交互模型以捕捉 N–κ 耦合。
• 通过单变量宽度缩放 α(κ) 与多变量模型分析结果，比较可分离与不可分离的缩放规律。

Figure 1: Error vs. Network Width ( $N$ ) for the Poisson PDE. Tanh networks find low-error solutions but exhibit high variance and no clear scaling ( $\alpha\approx 0.06\pm 0.4$ ). ReLU networks fail to learn ( $\alpha\approx 0.01\pm 0.01$ ). The gray and red lines give the theoretical error decay

实验结果

研究问题

• RQ1 实际的 SLN-PINN 训练是否显示基线优化病态，即宽度缩放 α 与理论的 0.5 偏离？
• RQ2 非线性（κ）是否引入与宽度的不可分离交互，打破简单缩放规律？
• RQ3 不同激活函数（tanh 与 ReLU）如何影响宽度缩放及其与非线性之间的交互？
• RQ4 缩放病态是否在不同类别的非线性 PDE（分散、双曲、反应性/抛物性）中保持一致？

主要发现

• 更宽的网络在非线性 PDE 的 PINN 中并不提高，甚至可能恶化误差，指示宽度缩放 α 近似为零或负值的基线病态。
• 非线性加剧难度，使 α 变成 κ 的不可分函数，有时呈现复杂、非单调的行为。
• 对于 ReLU，在所有 PDE 上宽度与非线性之间存在统计显著的交互项，表明确实存在宽度–κ 耦合。
• 对于 tanh，宽度往往统计上不显著，暗示不同（更稳定的）优化动态与缺乏有益的宽度缩放。
• 硬度参数 κ 通常提高最终误差，不同 PDE 显示不同响应（Allen-Cahn 异常表现）。
• 证据支持光谱偏置作为机制：随着非线性增加，学习高频分量更为困难，导致优化难度增大而非容量限制。

Figure 2: Scaling law analysis for the Sine-Gordon equation. (a) Width scaling exponent $\alpha$ vs. hardness $\kappa$ . Often $\alpha<0$ , implying increasing network width also increases error. (b) Final error vs. hardness $\kappa$ for different network widths $N$ . The final error degrades signif