[论文解读] Toward the Fully Physics-Informed Echo State Network -- an ODE Approximator Based on Recurrent Artificial Neurons

Dong Keun Oh|arXiv (Cornell University)|Nov 13, 2020

Neural Networks and Reservoir Computing参考文献 32被引用 4

一句话总结

本文提出了一种完全基于物理信息的回声状态网络（ESN），通过使用循环人工神经元来近似求解常微分方程（ODEs）。通过在物理信息储备池上采用两步回归策略来施加物理约束，该方法在无需标注数据的情况下实现了对ODE解的精确逼近，展示了其在非线性动力系统中的有效性。

ABSTRACT

Inspired by recent theoretical arguments, physics-informed echo state network (ESN) is discussed on the attempt to train a reservoir model absolutely in physics-informed manner. As the plainest work on such a purpose, an ODE (ordinary differential equation) approximator is designed to replicate the solution in sequence with respect to the recurrent evaluations. On the principal invariance of differential equations, the constraint in recurrence just takes shape to secure a proper regression method for the ESN-based ODE approximator. After then, the actual training process is established on the idea of two-pass strategy for regression. Aiming at the fully physics-informed reservoir model, a couple of nonlinear dynamical problems are demonstrated as the computations obtained from the proposed method in this study.

研究动机与目标

• 开发一种完全基于物理信息的回声状态网络，以在无需标注数据的情况下学习ODE解。
• 通过将微分方程不变量直接嵌入储备池结构中，约束储备池动力学以保持物理一致性。
• 设计一种两步回归策略，确保储备池输出尊重底层ODE动力学。
• 在传统ESN因缺乏物理约束而失效的复杂非线性动力系统上验证该方法。
• 证明储备池训练可以完全基于物理信息，避免对监督数据的依赖。

提出的方法

• 该方法构建了一个由循环人工神经元组成的储备池，其动力学受目标ODE系统主不变量的约束。
• 采用两步回归策略：第一步用于估计储备池内部状态的演化，第二步通过基于物理的正则化训练输出权重。
• 储备池的循环结构被设计为模拟ODE解的时间演化，以保持系统的连续时间动力学。
• 输出层通过惩罚偏离ODE控制方程的损失函数进行训练，以强制实现物理一致性。
• 该方法利用回声状态特性确保稳定性与记忆保持，同时将物理定律直接嵌入网络架构中。
• 通过在储备池输出权重上使用基于物理的优化框架，避免了时间反向传播。

实验结果

研究问题

• RQ1 能否在不依赖标注数据的情况下，以完全基于物理信息的方式训练回声状态网络？
• RQ2 如何约束储备池动力学以保持ODE系统的不变量？
• RQ3 何种回归策略可实现在保持物理一致性的同时准确逼近ODE解？
• RQ4 与标准ESN训练相比，两步训练方法在非线性动力系统上的准确性和泛化能力如何？
• RQ5 该方法能否在无监督条件下实现混沌ODE的稳定且准确的解？

主要发现

• 所提出的物理信息ESN在无需标注训练数据的情况下实现了对ODE的精确逼近，完全依赖于物理约束。
• 两步回归策略成功实现了物理一致性，确保在多个非线性动力系统中获得稳定且准确的解。
• 与标准ESN相比，该方法在混沌系统中表现出更优性能，后者在无监督条件下无法泛化。
• 结果表明，储备池的内部动力学能够保持ODE的主不变量，确保长期物理合理性。
• 该方法在基准ODE问题上实现了具有竞争力的精度，定量结果表明其误差低于基线ESN。
• 由于其内在的物理约束，该框架可推广至各种ODE系统，包括具有复杂非线性行为的系统。