[论文解读] Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data

Lloyd Fung, Urban Fasel+1 more|arXiv (Cornell University)|Feb 23, 2024

Spectroscopy and Chemometric Analyses被引用 5

一句话总结

Bayesian-SINDy 将 SINDy 重塑为快速高斯近似贝叶斯框架，以在稀缺、嘈杂数据中识别稀疏非线性动力学并量化不确定性。

ABSTRACT

We propose a fast probabilistic framework for identifying differential equations governing the dynamics of observed data. We recast the SINDy method within a Bayesian framework and use Gaussian approximations for the prior and likelihood to speed up computation. The resulting method, Bayesian-SINDy, not only quantifies uncertainty in the parameters estimated but also is more robust when learning the correct model from limited and noisy data. Using both synthetic and real-life examples such as Lynx-Hare population dynamics, we demonstrate the effectiveness of the new framework in learning correct model equations and compare its computational and data efficiency with existing methods. Because Bayesian-SINDy can quickly assimilate data and is robust against noise, it is particularly suitable for biological data and real-time system identification in control. Its probabilistic framework also enables the calculation of information entropy, laying the foundation for an active learning strategy.

研究动机与目标

• 推动在嘈杂、稀少数据中稳健地发现驱动方程。
• 将稀疏贝叶斯学习与 SINDy 结合，以量化学习模型中的不确定性。
• 在促进稀疏性和准确性的同时，避免昂贵的采样（如 MCMC）。
• 评估相对于现有基于 SINDy 的方法的数据效率和鲁棒性。
• 为通过基于信息熵的不确定性估计进行主动学习奠定基础。

提出的方法

• 将 SINDy 重构为带高斯似然和高斯先验的贝叶斯回归问题，以保持解析可处理性。
• 将时间导数学习建模为 t = D w + ε，其中 D = L_I Θ(X) 且 t = L_∂t X，考虑通过 Θ(X) 和时间导数传播的噪声。
• 推导对数证据 J(t|D,β,α)，并使用迭代的贪婪算法通过修剪 D 的列来最大化证据（稀疏模型选择）。
• 引入一种新颖的方法来设定先验超参数 α，以在正证据保留正确项、同时抑制错误项。
• 基于当前 w，通过误差方差中的与 w 相关的噪声项，迭代更新噪声精度 β。
• 可选地比较通过弱形式导数估计与有限差分的差异，并讨论对噪声处理的影响。

实验结果

研究问题

• RQ1 贝叶斯稀疏性回归能否像传统 SINDy 那样高效地从稀缺且嘈杂的数据中恢复正确的控制方程，并具备更好的不确定性量化？
• RQ2 通过库和导数估计传播的噪声如何影响模型选择与鲁棒性？
• RQ3 快速、α-β 优化的贪婪证据最大化策略是否能在无需昂贵采样的情况下产生准确的模型？
• RQ4 在贝叶斯框架下，弱形式与有限差分在噪声环境下的导数估计有何比较？
• RQ5 该框架能否通过诸如熵的信息理论度量实现主动学习？

主要发现

• Bayesian-SINDy 对学习到的系数量化不确定性，在噪声和数据稀缺条件下比非贝叶斯 SINDy 变体产生更稳健的模型发现。
• 一种高斯近似贝叶斯回归，配合基于证据的模型选择，高效地识别出简约且正确的动态项。
• 该方法通过避免 MCMC，且通过证据最大化促进稀疏性，从而比基于采样的贝叶斯方法更快捷。
• 考虑数据通过库和导数估计传播的噪声，提高项选择的可靠性。
• 该框架支持实时系统识别情景，并具有通过信息理论度量实现主动学习的潜力。