[论文解读] Multi-stage Neural Networks: Function Approximator of Machine Precision

Yongji Wang, Ching‐Yao Lai|arXiv (Cornell University)|Jul 18, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

该论文提出多阶段神经网络（MSNN），通过在前一阶段的残差上迭代训练独立网络，实现在双精度浮点数算术下的函数逼近至机器精度（约10^{-16}）。通过遵循反幂律关系逐步减小残差幅值，MSNN克服了谱偏差，实现在回归和物理信息神经网络中的近似机器精度准确性。

ABSTRACT

Deep learning techniques are increasingly applied to scientific problems, where the precision of networks is crucial. Despite being deemed as universal function approximators, neural networks, in practice, struggle to reduce the prediction errors below $O(10^{-5})$ even with large network size and extended training iterations. To address this issue, we developed the multi-stage neural networks that divides the training process into different stages, with each stage using a new network that is optimized to fit the residue from the previous stage. Across successive stages, the residue magnitudes decreases substantially and follows an inverse power-law relationship with the residue frequencies. The multi-stage neural networks effectively mitigate the spectral biases associated with regular neural networks, enabling them to capture the high frequency feature of target functions. We demonstrate that the prediction error from the multi-stage training for both regression problems and physics-informed neural networks can nearly reach the machine-precision $O(10^{-16})$ of double-floating point within a finite number of iterations. Such levels of accuracy are rarely attainable using single neural networks alone.

研究动机与目标

• 解决尽管网络规模大且训练时间长，深度神经网络仍难以将预测误差降至10^{-5}以下的长期局限性。
• 克服标准神经网络中的谱偏差，以改善高频特征的捕捉能力。
• 开发一种训练框架，实现在双精度算术下的收敛至机器精度（O(10^{-16}））。
• 将该方法扩展至物理信息神经网络（PINNs）及科学计算中的反问题。
• 提供系统性、分阶段的训练协议，确保各阶段的一致收敛与误差降低。

提出的方法

• 将训练过程划分为多个阶段，每个阶段在前一阶段的残差误差上训练一个新的神经网络。
• 使用多阶段损失函数，结合数据损失、方程损失和平滑性约束，用于PINNs。
• 应用反幂律模型描述残差幅值随阶段变化的残差频率关系。
• 引入自相似坐标变换以分析PDE中的奇点，实现在爆破时间附近的高分辨率研究。
• 采用奇对称神经网络结构以在解中强制实现物理对称性。
• 实施自适应配点采样以处理方程残差，尤其在奇点或不连续点附近。

实验结果

研究问题

• RQ1 多阶段训练能否将神经网络预测误差降低至O(10^{-5})以下并趋近于机器精度O(10^{-16})？
• RQ2 残差幅值在各阶段如何衰减？其是否遵循与残差频率相关的可预测反幂律关系？
• RQ3 多阶段框架能否有效缓解谱偏差并捕捉目标函数中的高频分量？
• RQ4 该方法如何扩展至求解具有奇点或非光滑解的PDE的物理信息神经网络？
• RQ5 该方法能否通过检测高阶导数的不连续性，可靠地识别出光滑解（例如Burgers方程中的λ = 0.5）？

主要发现

• 多阶段神经网络将预测误差降低至O(10^{-16})，趋近于双精度浮点数算术下的机器精度。
• 各阶段的残差幅值随残差频率呈反幂律衰减，表明误差系统性减少。
• 该方法成功捕捉了标准网络即使在宽度极大且训练时间极长的情况下也难以逼近的目标函数的高频分量。
• 在求解自相似Burgers方程的物理信息神经网络中，该方法通过检测方程残差三阶导数的不连续性，识别出λ = 0.5处的光滑解。
• 基于方程残差三阶导数的平滑性约束，使网络能够区分光滑解与非光滑解。
• 多阶段方法在整个训练过程中保持高收敛速率，避免了标准训练中常见的平台化现象。