[论文解读] Sparsely constrained neural networks for model discovery of PDEs

Gert‐Jan Both, Vermarien, Gijs+1 more|arXiv (Cornell University)|Nov 9, 2020

Model Reduction and Neural Networks参考文献 18被引用 7

一句话总结

本文提出了一种模块化框架，将深度神经网络代理模型与先进的稀疏回归技术相结合，用于从噪声较大或采样稀疏的数据中发现潜在的偏微分方程（PDE）。通过将稀疏性估计与神经网络训练解耦，并基于任意稀疏回归算法（如 PDE-find 或 Lasso）动态应用掩码，该方法显著提升了模型发现的准确性、收敛速度和鲁棒性，尤其在高噪声或复杂动力学场景下表现更优。

ABSTRACT

Sparse regression on a library of candidate features has developed as the prime method to discover the partial differential equation underlying a spatio-temporal data-set. These features consist of higher order derivatives, limiting model discovery to densely sampled data-sets with low noise. Neural network-based approaches circumvent this limit by constructing a surrogate model of the data, but have to date ignored advances in sparse regression algorithms. In this paper we present a modular framework that dynamically determines the sparsity pattern of a deep-learning based surrogate using any sparse regression technique. Using our new approach, we introduce a new constraint on the neural network and show how a different network architecture and sparsity estimator improve model discovery accuracy and convergence on several benchmark examples. Our framework is available at \url{https://github.com/PhIMaL/DeePyMoD}

研究动机与目标

• 解决经典稀疏回归方法在处理噪声大且时空采样稀疏的数据时用于 PDE 发现的局限性。
• 通过集成最先进的稀疏回归算法，克服现有基于深度学习的 PDE 发现方法在收敛性和鲁棒性方面的不足。
• 将稀疏性估计过程与神经网络训练解耦，以支持灵活、模块化且可扩展的模型发现流水线。
• 通过在深度学习代理框架中引入先进的稀疏性估计器（如 PDE-find 和 SR3），提升模型发现性能。
• 展示架构选择（如 SIREN）和优化策略对 PDE 发现准确性与收敛速度的影响。

提出的方法

• 使用深度神经网络作为代理模型，学习时空数据分布，从而通过自动微分精确计算导数。
• 利用神经网络输出，通过自动微分构建候选 PDE 项库（如 u, ux, uxx）。
• 通过动态应用不可微的稀疏性促进算法（如 PDE-find、阈值 Lasso）实现稀疏性估计过程的解耦，以确定 PDE 中的活跃项。
• 在训练过程中施加约束，使神经网络满足由当前活跃项定义的 PDE，使用学习得到的系数向量 ξ。
• 支持独立替换函数逼近器（如 SIREN 与标准前馈神经网络）、稀疏性估计器（如 PDE-find 与 Lasso）以及优化策略（如 OLS 与基于梯度的方法），以实现模块化设计。
• 采用两阶段训练流程：首先训练代理网络，然后利用其输出估计稀疏性模式，并迭代优化 PDE 结构。

实验结果

研究问题

• RQ1 基于深度学习的代理模型结合先进稀疏回归技术，是否能提升在噪声大、采样稀疏数据上的 PDE 发现准确性？
• RQ2 将稀疏性估计与神经网络训练解耦，是否能提升 PDE 模型发现的收敛速度与鲁棒性？
• RQ3 函数逼近器的选择（如 SIREN 与标准前馈网络）如何影响发现复杂 PDE（如 Kuramoto–Sivashinsky 方程）的能力？
• RQ4 在高噪声环境下，非微分稀疏性估计器（如 PDE-find）是否能优于可微分的估计器（如阈值 Lasso）？
• RQ5 与基于梯度的方法相比，使用普通最小二乘法（OLS）进行约束优化在多大程度上能提升收敛速度？

主要发现

• 在高达 80% 噪声下，PDE-find 稀疏性估计器在超过 80% 的试验中成功发现了正确的 Burgers' 方程，而阈值 Lasso 在 40% 噪声时即失效。
• 将约束优化的基于梯度的方法替换为普通最小二乘法（OLS），显著加快了收敛速度，且未牺牲准确性。
• 基于 SIREN 的神经网络成功从 5% 噪声、25,000 个数据点的稀疏数据集中发现了完整的 Kuramoto–Sivashinsky 方程，而基于 tanh 的标准网络则未能收敛。
• 该模块化框架支持使用先进的稀疏性估计器（如 SR3），并可无缝集成新型架构（如 RNN 或图神经网络）。
• 该框架表明，架构选择（如 SIREN）和优化策略（如 OLS）在复杂或噪声动力学场景下的成功 PDE 发现中起着关键作用。
• 只要代理网络能足够准确地捕捉底层动力学以支持导数和库项的计算，即使其未完全训练好，该方法依然保持鲁棒性。