[论文解读] Robust Data-Driven Discovery of Partial Differential Equations under Uncertainties

Zhiming Zhang, Yongming Liu|arXiv (Cornell University)|Jan 31, 2021

Model Reduction and Neural Networks参考文献 16被引用 5

一句话总结

本文提出 $ψ$-PDE 方法，一种稳健的数据驱动方法，通过渐进式稀疏识别、神经网络和快速傅里叶变换，从高度噪声的数据（高达 50% 噪声）中发现偏微分方程（PDE），显著降低对噪声的敏感性。该方法在极少超参数调优的情况下实现高精度的 PDE 发现，即使在极端噪声水平下也能正确识别诸如纳维-斯托克斯方程等经典 PDE。

ABSTRACT

Robust physics (e.g., governing equations and laws) discovery is of great interest for many engineering fields and explainable machine learning. A critical challenge compared with general training is that the term and format of governing equations is not known as a prior. In addition, significant measurement noise and complex algorithm hyperparameter tuning usually reduces the robustness of existing methods. A robust data-driven method is proposed in this study for identifying the governing Partial Differential Equations (PDEs) of a given system from noisy data. The proposed method is based on the concept of Progressive Sparse Identification of PDEs (PSI-PDE or $ψ$-PDE). Special focus is on the handling of data with huge uncertainties (e.g., 50$\%$ noise level). Neural Network modeling and fast Fourier transform (FFT) are implemented to reduce the influence of noise in sparse regression. Following this, candidate terms from the prescribed library are progressively selected and added to the learned PDEs, which automatically promotes parsimony with respect to the number of terms in PDEs as well as their complexity. Next, the significance of each learned terms is further evaluated and the coefficients of PDE terms are optimized by minimizing the L2 residuals. Results of numerical case studies indicate that the governing PDEs of many canonical dynamical systems can be correctly identified using the proposed $ψ$-PDE method with highly noisy data. One great benefit of proposed algorithm is that it avoids complex algorithm modification and hyperparameter tuning in most existing methods. Limitations of the proposed method and major findings are presented.

研究动机与目标

• 解决从具有高不确定性与噪声的数据中发现控制 PDE 的挑战，特别是在方程形式缺乏先验知识的情况下。
• 通过最小化对复杂超参数调优的依赖，提升 PDE 发现的鲁棒性，从而克服现有稀疏回归方法中稳定性不足的问题。
• 在测量噪声高达 50% 的系统中实现 PDE 的精确识别，而传统方法因对噪声和正则化参数敏感而失效。
• 开发一种方法，在保持对真实底层物理高度保真度的同时，促进 PDE 结构的简洁性。
• 通过求解 PDE 并最小化残差来评估和优化候选 PDE 模型，从而提升模型代表性，超越单一解识别的局限。

提出的方法

• 该方法采用渐进式 PDE 稀疏识别（PSI-PDE 或 $ψ$-PDE），通过迭代方式从预定义的库中选择并添加候选项到不断演化的 PDE 模型中。
• 利用神经网络和快速傅里叶变换（FFT）对时间序列数据进行去噪，提升在高噪声条件下空间和时间导数估计的准确性。
• 在每一步应用稀疏回归以识别最相关的项，通过最小化残差的 L2 范数并同时促进项数最少来实现稀疏性。
• 通过将识别出的项的解与观测数据进行比较，评估其显著性，并通过残差最小化优化系数以提高精度。
• 算法通过渐进式选择策略避免硬阈值处理，从而降低对噪声数据中微小系数波动的敏感性。
• 生成多个候选 PDE 并通过数值求解其解与真实数据进行比较，选择最具代表性的模型。

实验结果

研究问题

• RQ1 当数据包含高达 50% 噪声时，数据驱动方法能否成功发现动力系统的正确控制 PDE？
• RQ2 $ψ$-PDE 方法如何在无需大量超参数调优的情况下，保持在不同噪声水平下的鲁棒性？
• RQ3 使用神经网络和 FFT 在噪声数据中对导数估计和 PDE 识别的改善程度如何？
• RQ4 与单一解稀疏回归相比，候选 PDE 的渐进式选择与评估在提升模型代表性方面有何优势？
• RQ5 系数优化与 PDE 求解对高噪声条件下发现 PDE 最终精度的影响如何？

主要发现

• $ψ$-PDE 方法即使在 50% 噪声下，仍能成功识别二维纳维-斯托克斯方程的正确 PDE 形式，对流项系数与真实值的偏差仅为 14%。
• 在 20% 噪声下，学习得到的 PDE 解与真实解几乎无法区分，证实了模型预测的高保真度。
• 该方法在所有测试的噪声水平下（包括 50%）均能正确恢复纳维-斯托克斯系统的完整 PDE 结构（包括压力项和粘性项）。
• 该方法在极少超参数调优下实现稳定且准确的 PDE 发现，优于对正则化和阈值参数高度敏感的现有方法。
• 使用神经网络和 FFT 显著降低了噪声对导数估计的影响，使高噪声环境下仍能实现可靠的稀疏回归。
• 候选模型的渐进式选择与评估增强了鲁棒性，使该方法能在不预先假设项数或结构的前提下，识别出最具物理代表性的 PDE。