[论文解读] One-Shot Transfer Learning of Physics-Informed Neural Networks

Shaan Desai, Marios Mattheakis+3 more|arXiv (Cornell University)|Oct 21, 2021

Model Reduction and Neural Networks参考文献 20被引用 6

一句话总结

该论文提出了一种针对物理信息神经网络（PINNs）的一次性迁移学习框架，通过闭式计算最优输出权重，实现对线性常微分方程（ODEs）和偏微分方程（PDEs）的即时推理。通过冻结预训练的隐藏层并求解输出层的矩阵逆，该方法在无需微调的情况下实现高精度解，将推理时间减少数个数量级。

ABSTRACT

Solving differential equations efficiently and accurately sits at the heart of progress in many areas of scientific research, from classical dynamical systems to quantum mechanics. There is a surge of interest in using Physics-Informed Neural Networks (PINNs) to tackle such problems as they provide numerous benefits over traditional numerical approaches. Despite their potential benefits for solving differential equations, transfer learning has been under explored. In this study, we present a general framework for transfer learning PINNs that results in one-shot inference for linear systems of both ordinary and partial differential equations. This means that highly accurate solutions to many unknown differential equations can be obtained instantaneously without retraining an entire network. We demonstrate the efficacy of the proposed deep learning approach by solving several real-world problems, such as first- and second-order linear ordinary equations, the Poisson equation, and the time-dependent Schrodinger complex-value partial differential equation.

研究动机与目标

• 为解决每次针对新微分方程实例重新训练PINNs所带来的高计算成本问题。
• 通过迁移学习实现对线性ODEs和PDEs系统的单次推理。
• 开发一种框架，使预训练的PINN隐藏层可被复用于新方程，仅需最小程度的调整。
• 证明新方程的最优输出权重可通过矩阵求逆进行解析计算。
• 将该方法扩展至实数和复数形式的PDEs，如时变薛定谔方程。

提出的方法

• 冻结在一组线性微分方程族上预训练的PINN的隐藏层。
• 将新方程的求解简化为仅优化输出层权重，将其视为线性头。
• 将最优输出权重表述为由损失项和约束项导出的正规方程组的解。
• 使用矩阵求逆计算输出权重的闭式解，从而实现单次推理。
• 对于复数形式的PDEs（如薛定谔方程），将波函数分解为实部与虚部，并联合求解耦合系统。
• 在多种初始条件和系数配置下训练网络，以学习共享的解空间表征。

实验结果

研究问题

• RQ1 在PINNs中应用迁移学习是否能实现在无需微调的情况下对未见线性微分方程进行单次推理？
• RQ2 新微分方程的最优输出权重是否可通过矩阵求逆以闭式形式计算？
• RQ3 该方法在不同类型线性ODEs和PDEs（包括泊松方程和薛定谔方程）上的表现如何？
• RQ4 当求解高频分量时，F-原理对迁移学习性能有何影响？
• RQ5 该框架是否可通过基于梯度的微调扩展至非线性系统？

主要发现

• 所提方法通过矩阵求逆计算最优输出权重，实现对线性ODEs和PDEs的单次推理，无需迭代训练。
• 对于时变薛定谔方程，该方法在多种初始条件和参数下均产生极低误差的解，误差以均方误差（MSE）衡量。
• 预测的波函数实部与虚部与解析解高度吻合，在测试配置中与真实值紧密耦合。
• 即使在高频解上，该方法仍保持高精度，尽管随着 $p_0$ 增大性能略有下降，这与F-原理一致。
• 该框架显著降低了推理时间——解可在数秒内获得，而全量微调则需数分钟甚至数小时。
• 在非线性场景下，该方法仍可通过输出层的梯度下降实现高精度解，表明其在非线性系统中亦具鲁棒性。