[论文解读] On Few Shot Learning of Dynamical Systems: A Koopman Operator Theoretic Approach

Subhrajit Sinha, Umesh Vaidya+1 more|arXiv (Cornell University)|Mar 7, 2021

Model Reduction and Neural Networks参考文献 42被引用 6

一句话总结

本文提出了一种基于人工数据增强与鲁棒优化的鲁棒Koopman算子学习框架，适用于少样本动力系统。通过引入可微、抗噪声的合成点对稀疏时间序列数据进行增强，该方法显著提升了Koopman算子的保真度——在简谐振子、非线性系统以及Burgers方程等PDE中，预测误差相比标准EDMD/DMD方法降低了高达100倍。

ABSTRACT

In this paper, we propose a novel algorithm for learning the Koopman operator of a dynamical system from a extit{small} amount of training data. In many applications of data-driven modeling, e.g. biological network modeling, cybersecurity, modeling the Internet of Things, or smart grid monitoring, it is impossible to obtain regularly sampled time-series data with a sufficiently high sampling frequency. In such situations the existing Dynamic Mode Decomposition (DMD) or Extended Dynamic Mode Decomposition (EDMD) algorithms for Koopman operator computation often leads to a low fidelity approximate Koopman operator. To this end, this paper proposes an algorithm which can compute the Koopman operator efficiently when the training data-set is sparsely sampled across time. In particular, the proposed algorithm enriches the small training data-set by appending artificial data points, which are treated as noisy observations. The larger, albeit noisy data-set is then used to compute the Koopman operator, using techniques from Robust Optimization. The efficacy of the proposed algorithm is also demonstrated on three different dynamical systems, namely a linear network of oscillators, a nonlinear system and a dynamical system governed by a Partial Differential Equation (PDE).

研究动机与目标

• 解决在真实应用场景（如生物网络、物联网和智能电网）中常见的稀疏、非均匀采样时间序列数据下学习Koopman算子的挑战。
• 克服在训练数据极少时Koopman算子计算中最小二乘问题的病态性与病态条件。
• 通过引入可微、抗噪声的人工数据点来增强稀疏数据集，从而在低数据条件下提升基于Koopman模型的预测保真度。
• 在多种动力系统中验证该方法的有效性，包括线性振子、非线性系统以及Burgers方程等PDE。
• 建立一种对标准动态模态分解（DMD）和扩展DMD（EDMD）的稳健替代方案，在数据稀缺条件下仍能保持稳定性和准确性。

提出的方法

• 通过从可微系统映射中生成的人工数据点来增强稀疏训练数据，将其视为带有噪声的观测值。
• 将Koopman算子学习建模为鲁棒优化问题，以最小化对增强数据集中噪声的敏感性。
• 利用鲁棒优化技术，从扩大且含噪声的数据集中计算出稳定且低误差的Koopman算子近似解。
• 在增强后的数据上应用扩展DMD（EDMD）计算Koopman算子，利用Koopman动力学在升维空间中的线性结构。
• 通过预测误差和特征值稳定性等指标，将结果与标准EDMD和DMD进行对比。
• 使用有限差分法对PDE（如Burgers方程）进行离散化，并提取状态向量用于Koopman学习。

实验结果

研究问题

• RQ1 当训练数据稀疏且非均匀采样时，能否使Koopman算子学习具备鲁棒性与高精度？
• RQ2 通过可微系统映射进行人工数据增强，在低数据条件下如何提升Koopman算子的近似性能？
• RQ3 基于鲁棒优化的Koopman算子学习是否在预测精度与特征值稳定性方面优于标准DMD与EDMD？
• RQ4 所提出方法对训练数据量变化的敏感性如何？与标准DMD相比表现如何？
• RQ5 该框架能否有效应用于复杂系统，包括非线性ODE与Burgers方程等PDE？

主要发现

• 与标准EDMD相比，鲁棒EDMD将非线性振子的径向分量（r）与角向分量（θ）的预测误差降低了高达100倍。
• 在Burgers方程PDE示例中，所提方法在35个未来时间步长内，平均平方预测误差比标准DMD小几个数量级。
• 与标准DMD相比，所提方法表现出显著更低的均方误差（约10⁻²量级），而标准DMD则呈现更高且不稳定的误差水平。
• 在所有测试的训练数据规模（5至35个时间步）下，所提方法的预测误差始终更低，尤其在最小数据量条件下提升最为显著。
• 该方法展现出更优的特征值稳定性，避免了标准EDMD在稀疏数据上常产生的不稳定特征值。
• 尽管标准DMD对训练数据量变化的敏感性极低，但所提方法更为敏感，表明其对数据质量的依赖性，同时也凸显了数据增强带来的优势。