[论文解读] Solving Irregular and Data-enriched Differential Equations using Deep Neural Networks

Craig Michoski, Miloš Milosavljević+2 more|arXiv (Cornell University)|May 10, 2019

Model Reduction and Neural Networks参考文献 56被引用 9

一句话总结

该论文提出了一种基于深度神经网络（DNN）的方法，用于求解具有不规则解和数据增强的偏微分方程（PDE），特别是含有激波前的PDE。通过最小化PDE弱形式中的残差误差，并利用监督学习将实验数据融入模型，该DNN框架在精度上可与有限元方法相媲美，同时实现了单次完成的参数空间探索以及大规模数据的自然集成，展现出在可压缩欧拉方程和磁流体动力学（MHD）系统中的优异性能，且通过学习得到的源项可校正物理模型中的不匹配问题。

ABSTRACT

Recent work has introduced a simple numerical method for solving partial differential equations (PDEs) with deep neural networks (DNNs). This paper reviews and extends the method while applying it to analyze one of the most fundamental features in numerical PDEs and nonlinear analysis: irregular solutions. First, the Sod shock tube solution to compressible Euler equations is discussed, analyzed, and then compared to conventional finite element and finite volume methods. These methods are extended to consider performance improvements and simultaneous parameter space exploration. Next, a shock solution to compressible magnetohydrodynamics (MHD) is solved for, and used in a scenario where experimental data is utilized to enhance a PDE system that is \emph{a priori} insufficient to validate against the observed/experimental data. This is accomplished by enriching the model PDE system with source terms and using supervised training on synthetic experimental data. The resulting DNN framework for PDEs seems to demonstrate almost fantastical ease of system prototyping, natural integration of large data sets (be they synthetic or experimental), all while simultaneously enabling single-pass exploration of the entire parameter space.

研究动机与目标

• 评估深度神经网络（DNN）在求解具有不规则解（特别是挑战传统数值方法的激波前）的PDE方面的能力。
• 研究基于DNN的求解器在具有不可微特征的系统中，与经典有限元法和有限体积法在精度、稳定性和鲁棒性方面的对比表现。
• 将DNN框架扩展以将实验数据整合到基于物理的PDE模型中，特别是在基础模型不足以匹配观测数据的情况下。
• 通过DNN优化实现在PDE系统中对整个参数空间的同步、单次遍历，克服传统迭代求解器的局限性。
• 展示DNN在通过分析模拟与实验数据之间的差异（利用学习得到的源项）来识别缺失物理机制方面的实用性。

提出的方法

• DNN框架通过结合空间和时间域上的均方误差损失函数，最小化PDE系统的弱形式残差。
• 通过在解分量上施加$ L^2 $-范数正则化，对神经网络输出进行正则化，以防止过拟合并确保解的光滑性。
• 通过定义监督学习损失项$ \|E_{\text{exp}} - E\|_{\mathfrak{L}_2} $将实验数据纳入模型，其中$ E_{\text{exp}} $表示在$ 1000 \times 1000 $网格上的测量数据点。
• 该方法引入了学习得到的源项$ f_i $，以校正基础PDE模型与实验观测之间的差异，每个$ f_i $均通过最小化残差不匹配进行训练。
• 框架利用标准深度学习库（如TensorFlow、PyTorch）在100行代码以内即可原型实现复杂、多维的PDE系统。
• 通过在激波前区域等不连续特征区域添加人工扩散，增强了数值稳定性。

实验结果

研究问题

• RQ1 与传统的有限元法和有限体积法相比，DNN在近似不规则解（如索德激波管问题中的激波前）方面表现如何？
• RQ2 基于DNN的求解器在多大程度上能够实现PDE系统中整个参数空间的单次探索？与传统迭代求解器相比有何差异？
• RQ3 DNN能否通过学习校正性源项，有效将实验数据整合到不完整或未经充分验证的PDE模型中？
• RQ4 当与实验观测对比时，学习得到的源项$ f_1, f_2, f_3 $如何揭示基础PDE系统中缺失的物理机制？
• RQ5 在MHD系统中，磁场变化在诊断速度场和温度场不匹配问题中扮演何种角色？

主要发现

• 基于DNN的求解器在Sod激波管问题中实现了对解的精确近似，其精度和稳定性与传统有限元法和有限体积法相当。
• DNN框架成功捕捉了激波前，且数值扩散极小，表现出对局部解析不连续性的强鲁棒性。
• 学习得到的源项$ f_1 $校正了模型与实验数据之间显著的初始质量不匹配，表明存在未建模的质量流入，可能源于化学反应。
• 速度不匹配$ f_2 $与温度不匹配$ f_3 $表现出复杂且非平凡的变化，无法由$ f_1 $解释，提示动量和能量方程中存在额外未建模的动力学。
• $ f_2 $和$ f_3 $的特征变化与实验测得的磁场呈现强相关性，表明磁场效应是导致观测差异的关键驱动因素。
• DNN框架在单次训练过程中实现了对整个参数空间的完整、同步探索，与传统方法相比显著降低了计算成本。