[论文解读] Neural Ordinary Differential Equations for Data-Driven Reduced Order Modeling of Environmental Hydrodynamics

Sourav Dutta, Peter Rivera-Casillas+1 more|arXiv (Cornell University)|Apr 22, 2021

Model Reduction and Neural Networks参考文献 66被引用 6

一句话总结

本文提出神经普通微分方程（NODEs）作为建模环境水动力学降阶模型（ROMs）潜空间动力学的非侵入式、连续深度框架。结果表明，NODEs在圆柱绕流及真实河流/河口流动中均实现了稳定、精确且具备外推能力的预测，相较于传统方法如DMD和RBF插值，在长期外推中表现更优，同时在训练阶段保持了具有竞争力的精度。

ABSTRACT

Model reduction for fluid flow simulation continues to be of great interest across a number of scientific and engineering fields. Here, we explore the use of Neural Ordinary Differential Equations, a recently introduced family of continuous-depth, differentiable networks (Chen et al 2018), as a way to propagate latent-space dynamics in reduced order models. We compare their behavior with two classical non-intrusive methods based on proper orthogonal decomposition and radial basis function interpolation as well as dynamic mode decomposition. The test problems we consider include incompressible flow around a cylinder as well as real-world applications of shallow water hydrodynamics in riverine and estuarine systems. Our findings indicate that Neural ODEs provide an elegant framework for stable and accurate evolution of latent-space dynamics with a promising potential of extrapolatory predictions. However, in order to facilitate their widespread adoption for large-scale systems, significant effort needs to be directed at accelerating their training times. This will enable a more comprehensive exploration of the hyperparameter space for building generalizable Neural ODE approximations over a wide range of system dynamics.

研究动机与目标

• 开发一种非侵入式、可微分的框架，用于建模流体流动降阶模型中的潜空间动力学。
• 评估神经ODE相对于经典非侵入式ROM技术（如DMD和RBF插值）在真实水动力学应用中的性能表现。
• 评估基于NODE的ROM在预测训练数据范围之外流动动力学时的外推能力。
• 探索NODE在建模河流和河口等环境系统中复杂、非线性、时间依赖的PDE时的可行性与稳定性。
• 识别提升大规模水动系统泛化能力与训练效率的关键超参数与网络架构选择。

提出的方法

• 该方法采用本征正交分解（POD）从高保真流动快照数据中提取低维线性子空间。
• 潜空间动力学通过神经ODE建模，其将POD系数的演化表示为由可学习神经网络向量场定义的连续时间动力系统。
• 通过ODE求解器反向传播端到端训练NODE框架，实现对降维空间中连续动力学的可微学习。
• 该方法与两种经典非侵入式ROM进行对比：POD-RBF插值与POD-动态模态分解（DMD）。
• 训练采用归一化时间步长与截断POD模态，超参数在基准问题与真实流动问题中均经过调优以确保稳定性与精度。
• 通过空间均方根误差（RMSE）与多个时间点的速度场和水深场的可视化对比来评估模型性能。

实验结果

研究问题

• RQ1 神经ODE能否为环境水动力学降阶模型中潜空间动力学的演化提供稳定且精确的框架？
• RQ2 基于NODE的ROM在预测精度与外推能力方面相较于DMD和RBF插值等经典非侵入方法表现如何？
• RQ3 模型架构与超参数选择对大规模水动系统中基于NODE的ROM泛化能力与训练效率有何影响？
• RQ4 基于NODE的ROM在未见流动状态（训练数据中未包含）的外推中能实现多大程度的泛化？
• RQ5 在存在陡峭梯度的复杂、主导对流的流动中，NODE能否有效建模，而线性降维空间可能失效？

主要发现

• 神经ODE在基准问题与真实水动问题（包括圆柱绕流及河流/河口流动）中均展现出稳定且精确的学习轨迹，成功建模潜空间动力学。
• 基于NODE的ROM在圆柱绕流案例中长期外推预测性能与RBF插值相当，且优于DMD。
• 在红河案例中，NODE ROM的RMSE性能与更精确的RBF方法相当，而DMD因截断阶数较低（r=30）导致误差偏高。
• NODE框架在圆柱案例中产生了有前景的外推预测，这是传统ROM中罕见的能力，表明其在建模未见流动状态方面具有潜力。
• 本研究强调了超参数优化与训练加速对推动NODE在大规模环境建模中广泛应用的必要性。
• 作者计划公开所有数据与代码，以支持NODE-NIROM框架的可复现性与进一步发展。