[论文解读] Stochastic Adversarial Koopman Model for Dynamical Systems

Kaushik Balakrishnan, Devesh Upadhyay|arXiv (Cornell University)|Sep 10, 2021

Model Reduction and Neural Networks参考文献 49被引用 6

一句话总结

该论文提出了一种随机对抗Koopman（Stochastic Adversarial Koopman, SAK）模型，通过将潜在表征建模为高斯分布，并利用学习得到的矩阵 $K_\mu$ 和 $K_\sigma$ 对其均值和标准差应用Koopman算子，从而推进了动力系统的研究。该方法结合对抗训练与变分自编码器，在混沌、流体和电池动力学系统中均实现了鲁棒且低误差的预测，其中三对角Koopman矩阵在显著减少参数数量的同时保持了相当的性能。

ABSTRACT

Dynamical systems are ubiquitous and are often modeled using a non-linear system of governing equations. Numerical solution procedures for many dynamical systems have existed for several decades, but can be slow due to high-dimensional state space of the dynamical system. Thus, deep learning-based reduced order models (ROMs) are of interest and one such family of algorithms along these lines are based on the Koopman theory. This paper extends a recently developed adversarial Koopman model (Balakrishnan \& Upadhyay, arXiv:2006.05547) to stochastic space, where the Koopman operator applies on the probability distribution of the latent encoding of an encoder. Specifically, the latent encoding of the system is modeled as a Gaussian, and is advanced in time by using an auxiliary neural network that outputs two Koopman matrices $K_μ$ and $K_σ$. Adversarial and gradient losses are used and this is found to lower the prediction errors. A reduced Koopman formulation is also undertaken where the Koopman matrices are assumed to have a tridiagonal structure, and this yields predictions comparable to the baseline model with full Koopman matrices. The efficacy of the stochastic Koopman model is demonstrated on different test problems in chaos, fluid dynamics, combustion, and reaction-diffusion models. The proposed model is also applied in a setting where the Koopman matrices are conditioned on other input parameters for generalization and this is applied to simulate the state of a Lithium-ion battery in time. The Koopman models discussed in this study are very promising for the wide range of problems considered.

研究动机与目标

• 开发一种数据驱动的降阶模型（ROM），用于动力系统，能够高效捕捉不确定性与非线性动力学。
• 通过将潜在嵌入分布建模为高斯分布，将Koopman理论扩展至随机潜在空间，实现概率性状态预测。
• 通过在潜在空间中引入生成对抗网络（GAN）判别器进行对抗训练，提升预测的鲁棒性并降低误差。
• 通过依赖于外部参数（如电池荷电状态或控制输入）的条件Koopman矩阵实现泛化能力。
• 探索低秩Koopman结构（如三对角结构），在不牺牲预测准确性的情况下降低模型复杂度。

提出的方法

• 一个带有随机瓶颈的自编码器将高维系统状态映射到由均值 $\mu$ 和标准差 $\sigma$ 参数化的潜在高斯分布。
• 一个辅助神经网络预测两个Koopman矩阵 $K_\mu$ 和 $K_\sigma$，它们线性推进潜在分布的均值与标准差随时间的变化。
• Koopman动力学通过重构损失、梯度损失以及来自GAN判别器的对抗损失联合训练，以提升潜在空间的真实性与预测准确性。
• 采用降阶公式假设 $K_\mu$ 和 $K_\sigma$ 具有三对角结构，显著减少了可训练参数数量，同时保持性能。
• 将模型扩展至条件设定，其中Koopman矩阵依赖于外部输入（如控制参数或电池状态），实现不同条件下动态系统的预测。
• 解码器从演化后的潜在分布重建物理空间状态，实现系统演化的长期预测。

实验结果

研究问题

• RQ1 Koopman算子能否有效应用于潜在表征的概率分布而非单一样本，从而提升动力系统不确定性感知建模能力？
• RQ2 在高维非线性系统中，使用GAN判别器进行对抗训练在多大程度上提升了基于Koopman的预测鲁棒性与准确性？
• RQ3 在复杂动力系统中，Koopman矩阵在多大程度上可以被减小规模（如采用三对角结构），而不会降低预测性能？
• RQ4 条件Koopman模型（其动力学依赖于外部参数）能否在不同系统状态（如电池建模）下实现良好泛化？
• RQ5 将潜在状态建模为具有时变均值与方差的高斯分布，是否能比确定性潜在表示实现更准确、更稳定的长期预测？

主要发现

• SAK模型在五个不同的动力系统（包括混沌、流体和电化学系统）上均实现了比基线模型更低的测试预测误差，尤其在GAN损失权重 $\lambda_{\mathrm{GAN}}$ 被合理调优时表现更优。
• 在五项测试问题中的四项，对抗训练显著降低了预测误差，证明了其在潜在空间中提升了鲁棒性与泛化能力。
• 三对角Koopman结构在预测性能上与完整Koopman矩阵相当，但将非零参数数量减少了整整一个数量级。
• 条件SAK模型成功预测了锂离子电池在不同运行条件下的状态演化，展现出强大的泛化能力。
• 该模型能够高精度捕捉复杂动力学，如混沌（Kuramoto-Sivashinsky）、涡流脱落、火焰-涡流相互作用以及反应-扩散过程。
• 使用随机潜在表征使模型能够预测未来状态的分布，相比确定性模型提供了更丰富的不确定性量化能力。