[论文解读] Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks

Ming Gao, J. WILLIAMS+1 more|ArXiv.org|Jan 23, 2025

Model Reduction and Neural Networks被引用 3

一句话总结

SINDy-SHRED 通过在基于 SHRED 的框架中强制 SINDy 类 ODE，联合发现可解释的潜在动力学与来自稀疏传感器的坐标，Koopman-SHRED 作为线性潜在动态的特殊情况，使鲁棒、样本高效的时空建模成为可能。

ABSTRACT

Modeling real-world spatio-temporal data is exceptionally difficult due to inherent high dimensionality, measurement noise, partial observations, and often expensive data collection procedures. In this paper, we present Sparse Identification of Nonlinear Dynamics with SHallow REcurrent Decoder networks (SINDy-SHRED), a method to jointly solve the sensing and model identification problems with simple implementation, efficient computation, and robust performance. SINDy-SHRED uses Gated Recurrent Units to model the temporal sequence of sparse sensor measurements along with a shallow decoder network to reconstruct the full spatio-temporal field from the latent state space. Our algorithm introduces a SINDy-based regularization for which the latent space progressively converges to a SINDy-class functional, provided the projection remains within the set. In restricting SINDy to a linear model, a Koopman-SHRED model is generated. SINDy-SHRED (i) learns a symbolic and interpretable generative model of a parsimonious and low-dimensional latent space for the complex spatio-temporal dynamics, (ii) discovers new physics models even for well-known physical systems, (iii) achieves provably robust convergence with an observed globally convex loss landscape, and (iv) achieves superior accuracy, data efficiency, and training time, all with fewer model parameters. We conduct systematic experimental studies on PDE data such as turbulent flows, real-world sensor measurements for sea surface temperature, and direct video data. The interpretable SINDy and Koopman models of latent state dynamics enable stable and accurate long-term video predictions, outperforming all current baseline deep learning models in accuracy, training time, and data requirements, including Convolutional LSTM, PredRNN, ResNet, and SimVP.

研究动机与目标

• 提供一种鲁棒、数据高效的方法，用于从稀疏传感器建模高维时空数据。
• 在 SHRED 框架中联合识别潜在坐标和控制方程。
• 通过 SINDy 规则化和 Koopman 规则化的潜在动力学实现可解释的长期预测。

提出的方法

• 通过强制递归潜在状态遵循 SINDy 类 ODE 的可微分 SINDy 单元来扩展 SHRED。
• 在潜在空间用函数库表示动力学（如多项式、傅里叶项），通过类似 l0 的正则化促进稀疏性。
• 使用没有显式编码器的基于 GRU 的潜在空间，以提高鲁棒性并减少过拟合。
• 用不同稀疏度的 SINDy 单元的集合进行训练，逐步将 SHRED 的轨迹与 SINDy 产生的轨迹对齐。
• 通过将库限制为线性项提供一个 Koopman-SHRED 变体，以获得线性潜在动力学。
• 实现一个联合损失，结合像素空间重建、潜在空间动力学正则化和稀疏性。

实验结果

研究问题

• RQ1 是否可以从稀疏传感观测中发现稀疏、可解释的潜在动力学，以准确重建和预测高维时空场？
• RQ2 相较于标准深度学习模型，强制 SINDy 基或 Koopman 基的潜在动力学是否能改善长期稳定性和泛化？
• RQ3 SHRED 如何与 SINDy 融合，在真实数据和合成数据集上识别潜在坐标和支配规律？

主要发现

• SINDy-SHRED 以最少的超参数调优和笔记本级计算实现鲁棒的长期预测。
• 该方法识别出潜在坐标和简约的支配方程，在潜在空间实现准确外推并在像素空间实现可靠重建。
• Koopman-SHRED 提供一个线性潜在动力学变体，保持准确性的同时提供 Koopman 解释。
• 在不同数据集（合成偏偏偏 PDE、海表温度、大气臭氧、GoPro 流动视频、摆动视频）中，SINDy-SHRED 展现出稳定的长期行为，并对基线方法（如 ConvLSTM、PredRNN、ResNet、SimVP）具有竞争力甚至更优。
• SINDy 与 Koopman 形式给出可解释的潜在动力学，具有显式 ODE 或线性生成器，提升外推能力和物理洞察。