[论文解读] Stochastic Physics-Informed Neural Networks (SPINN): A Moment-Matching Framework for Learning Hidden Physics within Stochastic Differential Equations.

Jared O’Leary, Joel A. Paulson+1 more|arXiv (Cornell University)|Sep 3, 2021

Model Reduction and Neural Networks参考文献 61被引用 6

一句话总结

SPINN 是一种新颖的深度学习框架，通过将通过不确定性传播计算的预测统计矩与数据驱动的估计值进行匹配，来学习随机微分方程（SDEs）中的隐藏物理规律。它利用自动微分和小批量优化来训练表示本构定律的神经网络，从而实现对具有乘性噪声的多变量 SDE 中隐藏动力学的稳健发现。

ABSTRACT

Stochastic differential equations (SDEs) are used to describe a wide variety of complex stochastic dynamical systems. Learning the hidden physics within SDEs is crucial for unraveling fundamental understanding of the stochastic and nonlinear behavior of these systems. We propose a flexible and scalable framework for training deep neural networks to learn constitutive equations that represent hidden physics within SDEs. The proposed stochastic physics-informed neural network framework (SPINN) relies on uncertainty propagation and moment-matching techniques along with state-of-the-art deep learning strategies. SPINN first propagates stochasticity through the known structure of the SDE (i.e., the known physics) to predict the time evolution of statistical moments of the stochastic states. SPINN learns (deep) neural network representations of the hidden physics by matching the predicted moments to those estimated from data. Recent advances in automatic differentiation and mini-batch gradient descent are leveraged to establish the unknown parameters of the neural networks. We demonstrate SPINN on three benchmark in-silico case studies and analyze the framework's robustness and numerical stability. SPINN provides a promising new direction for systematically unraveling the hidden physics of multivariate stochastic dynamical systems with multiplicative noise.

研究动机与目标

• 开发一种可扩展且灵活的框架，用于发现控制复杂动力系统之随机微分方程（SDEs）中隐藏的本构定律。
• 解决在具有乘性噪声和非线性随机动力学的系统中学习隐藏物理规律的挑战。
• 通过将 SDE 预测的统计矩与经验数据矩进行匹配，实现在数据驱动基础上发现潜在物理定律。
• 将不确定性传播与矩匹配技术整合到现代深度学习优化中，以提升鲁棒性和稳定性。

提出的方法

• SPINN 通过已知的 SDE 结构传播随机性，以解析或数值方式计算系统状态统计矩的时间演化。
• 它采用深度神经网络来表示控制 SDE 中漂移和扩散系数的未知本构方程。
• 该框架通过基于矩匹配的损失函数，最小化由 SDE 传播预测的矩与从观测数据中经验估计的矩之间的差异。
• 使用自动微分将梯度反向传播至矩计算过程和神经网络参数，实现端到端训练。
• 应用小批量梯度下降以扩展训练过程并提高收敛效率。
• 该方法设计用于处理多变量系统和具有乘性噪声的系统，确保数值稳定性和鲁棒性。

实验结果

研究问题

• RQ1 当底层本构定律未知但 SDE 结构部分已知时，如何系统性地学习随机微分方程中的隐藏物理规律？
• RQ2 预测矩与数据估计矩之间的矩匹配是否能够实现对非线性、多变量 SDE 中隐藏动力学的准确且稳定的发现？
• RQ3 SPINN 在应用于具有乘性噪声和复杂非线性的 SDE 时，其鲁棒性和数值稳定性表现如何？
• RQ4 通过已知 SDE 结构进行不确定性传播，在多大程度上能提升所学习神经网络模型的泛化能力和可解释性？

主要发现

• SPINN 在三个仿真基准案例研究中成功学习了隐藏物理规律，展示了在具有乘性噪声的 SDE 中对底层本构定律的准确恢复能力。
• 该框架在多种随机动力系统中表现出稳健性能，即使在高噪声水平下也保持数值稳定性。
• 预测矩与数据估计矩之间的矩匹配，使得无需显式似然估计即可有效训练深度神经网络。
• 利用自动微分和小批量优化，SPINN 能够高效扩展至高维系统和复杂非线性关系。
• 将不确定性传播与神经网络学习相结合，提升了所发现模型的可解释性和物理一致性。
• SPINN 提供了一种系统且可扩展的方法，用于揭示复杂随机系统中的隐藏物理规律，为传统黑箱学习提供了一种有前景的替代方案。