[论文解读] On Learning the Dynamical Response of Nonlinear Control Systems with Deep Operator Networks

Guang Li, Christian Moya+1 more|arXiv (Cornell University)|Jun 14, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出了一种基于DeepONet的框架，用于学习具有时变输入的非线性、非自治控制系统的长期动态响应。通过训练DeepONet以近似局部解算子，并结合数据驱动的Runge-Kutta格式进行递归应用，该方法实现了对复杂轨迹的高精度、数据高效预测——在捕食者-猎物模型、摆、小车-摆系统及电力系统模型上进行了验证，小样本数据下的相对$L_2$误差低于1.1%。

ABSTRACT

We propose a Deep Operator Network~(DeepONet) framework to learn the dynamic response of continuous-time nonlinear control systems from data. To this end, we first construct and train a DeepONet that approximates the control system's local solution operator. Then, we design a numerical scheme that recursively uses the trained DeepONet to simulate the control system's long/medium-term dynamic response for given control inputs and initial conditions. We accompany the proposed scheme with an estimate for the error bound of the associated cumulative error. Furthermore, we design a data-driven Runge-Kutta~(RK) explicit scheme that uses the DeepONet forward pass and automatic differentiation to better approximate the system's response when the numerical scheme's step size is sufficiently small. Numerical experiments on the predator-prey, pendulum, and cart pole systems confirm that our DeepONet framework learns to approximate the dynamic response of nonlinear control systems effectively.

研究动机与目标

• 为复杂动力系统中的控制与优化问题，解决高保真数值模拟的计算成本问题。
• 克服传统神经网络在长时程预测中存在误差累积和小样本数据过拟合的局限性。
• 开发一种数据驱动的算子学习框架，直接近似非自治动力系统的解算子，而无需对输出进行离散化。
• 在有限训练数据下，实现对中长期时间尺度系统轨迹的高精度递归预测。
• 将DeepONet与数据驱动的Runge-Kutta格式相结合，以在小时间步长下提升预测精度。

提出的方法

• 该方法训练一个DeepONet以近似局部解算子，将初始条件和时变输入映射到系统在小时间区间内的状态轨迹。
• 通过在连续时间步长上递归应用训练好的DeepONet，模拟系统的长时程和中时程响应。
• 推导了递归预测方案中累积误差的理论误差界。
• 提出了一种数据驱动的Runge-Kutta（RK）格式，利用DeepONet的前向传播和自动微分来估计向量场，从而在小步长下提升精度。
• 该框架被应用于自治与非自治系统，包括混沌系统以及电力系统等实际工程应用。
• 训练数据集通过插值传感器数据和数值模拟的时间序列轨迹构建，输入包括初始状态、时变输入和采样位置。

实验结果

研究问题

• RQ1 DeepONet能否有效学习具有时变输入的非线性、非自治动力系统的解算子，以实现长期预测？
• RQ2 与基线方法相比，训练好的DeepONet在递归应用时，在长时程时间尺度上的预测精度和误差累积表现如何？
• RQ3 一种利用DeepONet前向传播和自动微分的、数据驱动的Runge-Kutta方案，能否在小时间步长下提升预测精度？
• RQ4 当传统模型出现过拟合或漂移时，该方法在有限训练数据下的表现如何，特别是在小样本场景下？
• RQ5 该框架能否扩展至复杂工程系统（如电力网络和流体动力学）并处理真实扰动？

主要发现

• 所提出的递归DeepONet框架在100条测试轨迹上实现了低于1.1%的平均$L_2$-相对误差，即使训练数据集仅包含30,000个样本。
• 在测试的各类基准中（包括先前的神经网络方法和基于集成的方法），递归DeepONet是唯一能有效捕捉具有挑战性的振荡解轨迹的方法。
• 数据驱动的Runge-Kutta方案通过利用自动微分从DeepONet估计向量场，显著提升了小时间步长下的预测精度。
• 该框架成功预测了两区域电力系统在0.01秒扰动下的动态响应，在5秒内准确跟踪了功角和转速状态。
• 推导并验证了递归方案中累积误差的理论误差界，为长期预测提供了可靠性保障。
• 该方法在数据效率和稳定性方面优于现有方法，尤其在训练数据稀缺时表现更优，适用于数据获取成本高昂的实际工程系统。