[论文解读] Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks

Katarzyna Michałowska, Somdatta Goswami+2 more|arXiv (Cornell University)|Mar 3, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了一种混合神经算子-RNN框架，将深度算子网络（DeepONet）或傅里叶神经算子（FNO）与循环神经网络（RNN）结合，以改善动力系统中的长时间积分。通过利用RNN建模时间依赖性，该架构减少了误差累积，并在插值和外推任务中均提升了稳定性，相较于标准神经算子，在Korteweg-de Vries方程上的表现更优，适用于多种RNN变体和训练策略。

ABSTRACT

Deep neural networks are an attractive alternative for simulating complex dynamical systems, as in comparison to traditional scientific computing methods, they offer reduced computational costs during inference and can be trained directly from observational data. Existing methods, however, cannot extrapolate accurately and are prone to error accumulation in long-time integration. Herein, we address this issue by combining neural operators with recurrent neural networks, learning the operator mapping, while offering a recurrent structure to capture temporal dependencies. The integrated framework is shown to stabilize the solution and reduce error accumulation for both interpolation and extrapolation of the Korteweg-de Vries equation.

研究动机与目标

• 解决使用神经算子进行动力系统长时间积分时的误差累积问题。
• 在参数化常微分方程/偏微分方程模拟中，提升外推和插值的准确性，超越标准神经算子的能力。
• 将循环神经网络与神经算子结合，以建模时间依赖性，并在较长的时间范围内稳定预测。
• 评估神经算子与RNN组件联合训练与两步训练对模型性能的影响。
• 在插值和外推设置下，展示该框架在非线性Korteweg-de Vries方程上的有效性。

提出的方法

• 该框架将神经算子（DeepONet或FNO）与循环神经网络（RNN、LSTM或GRU）结合，以同时学习解算子和时间动态。
• 神经算子将初始条件映射到离散时间间隔的解状态，这些状态随后按顺序输入RNN以建模时间演化。
• RNN通过保持隐藏状态来捕捉长程时间依赖性，从而在长轨迹上提升预测稳定性。
• RNN的输出通过一个前馈层重构为原始空间维度的解。
• 模型可采用端到端训练（同时训练）或两步训练（先预训练算子，再用RNN微调）的方式训练，以实现对训练策略的消融分析。
• 该架构在Korteweg-de Vries（KdV）方程上进行了评估，涵盖不同时间范围的插值和外推任务。

实验结果

研究问题

• RQ1 将神经算子与RNN结合是否能减少动力系统长时间积分中的误差累积？
• RQ2 RNN架构选择（RNN、LSTM、GRU）如何影响混合模型的性能？
• RQ3 与两步训练相比，联合训练神经算子和RNN是否能提升预测准确性和稳定性？
• RQ4 该混合模型在长时间外推中能在多大程度上保持解的形状并避免失真？
• RQ5 与原始神经算子相比，该混合模型在误差增长和解保真度方面表现如何？

主要发现

• 采用联合训练的混合DON-RNN模型表现出最低误差和最慢的误差增长，在长时间外推中显著优于原始DeepONet。
• 对于FNO-RNN，两步训练可减少误差累积并稳定预测，但与两步训练相比，联合训练在DeepONet-RNN中表现更优。
• 集成RNN的模型能更好地保持波形随时间的稳定性，尤其在t=5.0时，原始模型已完全失去与真实值的相似性。
• 在插值任务中，所有混合模型均表现出更平坦的误差累积曲线，其中DON-RNN（联合训练）达到最低总体误差。
• FNO-RNN模型性能与原始FNO相当，但混合架构在外部推断中提升了稳定性并减少了误差增长。
• 联合训练相比两步训练能带来更稳定和准确的预测，尤其在基于DeepONet的模型中表现更明显。