[论文解读] Residual-based attention and connection to information bottleneck theory in PINNs

Sokratis Anagnostopoulos, Juan Diego Toscano+2 more|arXiv (Cornell University)|Jul 1, 2023

Model Reduction and Neural Networks被引用 8

一句话总结

该论文提出一种无梯度残差基注意力（RBA）加权方案用于 PINNs，以加速收敛与精度提升，并将训练动力学与信息瓶颈（IB）理论联系起来。

ABSTRACT

Driven by the need for more efficient and seamless integration of physical models and data, physics-informed neural networks (PINNs) have seen a surge of interest in recent years. However, ensuring the reliability of their convergence and accuracy remains a challenge. In this work, we propose an efficient, gradient-less weighting scheme for PINNs, that accelerates the convergence of dynamic or static systems. This simple yet effective attention mechanism is a function of the evolving cumulative residuals and aims to make the optimizer aware of problematic regions at no extra computational cost or adversarial learning. We illustrate that this general method consistently achieves a relative $L^{2}$ error of the order of $10^{-5}$ using standard optimizers on typical benchmark cases of the literature. Furthermore, by investigating the evolution of weights during training, we identify two distinct learning phases reminiscent of the fitting and diffusion phases proposed by the information bottleneck (IB) theory. Subsequent gradient analysis supports this hypothesis by aligning the transition from high to low signal-to-noise ratio (SNR) with the transition from fitting to diffusion regimes of the adopted weights. This novel correlation between PINNs and IB theory could open future possibilities for understanding the underlying mechanisms behind the training and stability of PINNs and, more broadly, of neural operators.

研究动机与目标

• 使用一种无梯度、基于残差的加权方案改善动态与静态偏微分方程（PDEs）的 PINN 收敛性与精度。
• 提供一种高效方法，在不增加额外计算成本的前提下提高对问题区域的关注度。
• 探索 RBA 权重在训练过程中的演化，以及将其演化与信息瓶颈阶段（拟合与扩散）相关联。
• 在基准问题上验证有效性，并分析边界条件强制对性能的影响。

提出的方法

• 提出基于残差的注意力（RBA）权重，更新规则简单且无梯度，基于累积残差（方程式 5）。
• 使用带衰减的有界乘子以确保稳定性（方程式 6 中的参数上界）。
• 采用改良多层感知机（mMLP）并对输入特征进行编码以增强表示能力（方程式 7-10）。
• 通过约束表达式或傅里叶特征嵌入（Dirichlet、周期性）来精确施加边界条件。
• 将 RBA 与傅里叶特征或精确边界施加结合起来，以在基准 PDE（Allen–Cahn 与 Helmholtz）上实现高精度。

Figure 1: Exact solution of the 1D Allen-Cahn with the corresponding network prediction and the absolute error difference.

实验结果

研究问题

• RQ1 无梯度、基于残差的加权是否能在动态与静态 PDEs 上提升 PINN 的收敛性与精度？
• RQ2 RBA 权重在训练过程中的演化如何进行解释，是否可通过信息瓶颈理论来解读？
• RQ3 在应用 RBA 的同时对边界条件进行精准施加对 PINN 性能有何影响？
• RQ4 RBA 与标准 PINN 基准上的最先进加权策略相比如何？

主要发现

• 在标准基准上，RBA 在常规优化器下实现相对 L2 误差约为 10^-5（Allen–Cahn 的平均值为 5.7e-5，见表 1）。
• 对于二维 Helmholtz 问题，RBA 结合傅里叶特征达到相对 L2 误差 1.46e-5（使用 ADF 时为 8.04e-5，见表 3）。
• 消融研究表明傅里叶特征嵌入与边界条件施加至关重要；RBA 结合傅里叶特征和 mMLP 获得最佳结果（表 2）。
• RBA 的权重演化呈现出类 IB 理论的两个阶段：拟合阶段具有较高信噪比，随后为扩散阶段，信噪比降低，与泛化能力的提升相关（第 4 节）。
• 权重保持有界，动态重新分布于域内以聚焦到问题区域且不需要梯度计算（第 2.2 节）。

Figure 2: Ablation study convergence for the 1D Allen-Cahn : Progression of convergence for each experiment. The results clearly demonstrate that the integration of the RBA approach and the Fourier feature embedding is crucial for attaining a minimal relative $L^{2}$ . When combined with a modified