[论文解读] Physics-Informed Long Short-Term Memory for Forecasting and Reconstruction of Chaos

Elise Özalp, Georgios Margazoglou+1 more|arXiv (Cornell University)|Feb 3, 2023

Neural Networks and Applications参考文献 13被引用 4

一句话总结

本文提出了一种物理信息长短期记忆网络（PI-LSTM），通过在LSTM训练中整合控制微分方程，实现对混沌系统中未测量变量的重构与预测。通过物理信息损失函数惩罚预测结果与系统动力学的偏差，PI-LSTM能够准确捕捉长期统计特性与李雅普诺夫指数——混沌的关键指标，其性能优于无法再现混沌行为的数据驱动LSTM，尤其在观测数据有限时表现更优。

ABSTRACT

We present the Physics-Informed Long Short-Term Memory (PI-LSTM) network to reconstruct and predict the evolution of unmeasured variables in a chaotic system. The training is constrained by a regularization term, which penalizes solutions that violate the system's governing equations. The network is showcased on the Lorenz-96 model, a prototypical chaotic dynamical system, for a varying number of variables to reconstruct. First, we show the PI-LSTM architecture and explain how to constrain the differential equations, which is a non-trivial task in LSTMs. Second, the PI-LSTM is numerically evaluated in the long-term autonomous evolution to study its ergodic properties. We show that it correctly predicts the statistics of the unmeasured variables, which cannot be achieved without the physical constraint. Third, we compute the Lyapunov exponents of the network to infer the key stability properties of the chaotic system. For reconstruction purposes, adding the physics-informed loss qualitatively enhances the dynamical behaviour of the network, compared to a data-driven only training. This is quantified by the agreement of the Lyapunov exponents. This work opens up new opportunities for state reconstruction and learning of the dynamics of nonlinear systems.

研究动机与目标

• 解决在仅有部分状态观测时，重构混沌系统中未测量变量的挑战。
• 通过在训练过程中嵌入物理定律，提升循环神经网络的长期预测能力与动力学一致性。
• 评估物理信息正则化是否能使LSTM保持混沌系统的基本特性，如正的李雅普诺夫指数与遍历统计特性。
• 证明当数据不完整或稀疏时，物理信息约束对于捕捉混沌动力学至关重要。

提出的方法

• PI-LSTM架构通过引入物理信息损失项扩展标准LSTM，该损失项惩罚违反系统控制微分方程的预测结果。
• 网络通过时间反向传播计算隐藏状态与细胞状态的一阶导数，以确保与系统动力学的一致性。
• 物理信息损失通过超参数 α_pi 加权，用于在训练过程中平衡数据保真度与物理一致性。
• 该方法在Lorenz-96模型上进行评估，该模型是具有三个正李雅普诺夫指数的典型混沌系统，测试了不同数量未测量变量的情况。
• 采用长达1000个李雅普诺夫时间的长期自主模拟，以评估统计一致性与动力学行为。
• 从训练后的PI-LSTM中计算李雅普诺夫指数，以验证混沌动力学的保持情况，并与真实系统的参考值进行比较。

Figure 3 : Statistics reconstruction of unmeasured variables. Comparison of the target (black line), PI-LSTM (red dashed line) and data-driven LSTM (blue line) probability density functions (PDF) of (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables over a $1000\tau_{\lambda

实验结果

研究问题

• RQ1 物理信息LSTM能否在仅有部分观测的情况下，重构混沌系统的完整状态并保持其内在动力学特性？
• RQ2 引入物理信息正则化后，LSTM的长期统计行为与纯数据驱动方法相比有何差异？
• RQ3 当仅观测到变量子集时，PI-LSTM在多大程度上能准确再现混沌系统的李雅普诺夫指数？
• RQ4 未测量变量的数量对PI-LSTM的重构精度与动力学保真度有何影响？
• RQ5 物理信息损失是否能防止网络收敛到类似数据驱动模型中常见的虚假固定点解？

主要发现

• 在长达1000个李雅普诺夫时间的模拟中，PI-LSTM能准确重构未测量变量的概率密度函数，而数据驱动LSTM则坍缩为固定点解，尤其在未测量变量更多时更为明显。
• 在仅一个未测量变量的情况下，PI-LSTM在主导李雅普诺夫指数上的误差仅为0.28%，表明其在捕捉混沌动力学方面具有极高精度。
• 在三个未测量变量的情况下，PI-LSTM在主导李雅普诺夫指数上的误差为8%，显示出在复杂度增加时仍具鲁棒性。
• 在五个未测量变量的情况下，PI-LSTM在主导李雅普诺夫指数上的误差仍保持在11.6%，表明性能随信息稀缺而下降，但显著优于数据驱动基线模型。
• 在三个和五个未测量变量的情况下，数据驱动LSTM产生的主导李雅普诺夫指数为负值，表明其完全无法再现混沌行为，且收敛至固定点。
• PI-LSTM通过保持正的李雅普诺夫指数与遍历统计特性，成功维持了系统的混沌本质，即使在观测数据有限的情况下亦然。

Figure 4 : Comparison of the target (black squares), PI-LSTM (red dots) and data-driven LSTM (blue dots) LEs for (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables. All the vertical axes are in logarithmic scale.