[论文解读] Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method

Francesco Romor, Giovanni Stabile+1 more|arXiv (Cornell University)|Mar 1, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

本论文提出了一种基于卷积自编码器（CAEs）进行潜在流形学习、采用降维过配点法（ROC）实现超还原，并结合压缩解码器的教师-学生训练的物理信息非线性流形模型（ROM），用于参数化偏微分方程（PDE）的高效高精度模拟。该方法在二维非线性守恒律和浅水方程问题上验证了其有效性，能够处理非仿射、非线性及对流主导的行为，同时保持物理一致性，并在泛化能力上超越纯数据驱动方法。

ABSTRACT

Non-affine parametric dependencies, nonlinearities and advection-dominated regimes of the model of interest can result in a slow Kolmogorov n-width decay, which precludes the realization of efficient reduced-order models based on linear subspace approximations. Among the possible solutions, there are purely data-driven methods that leverage autoencoders and their variants to learn a latent representation of the dynamical system, and then evolve it in time with another architecture. Despite their success in many applications where standard linear techniques fail, more has to be done to increase the interpretability of the results, especially outside the training range and not in regimes characterized by an abundance of data. Not to mention that none of the knowledge on the physics of the model is exploited during the predictive phase. In order to overcome these weaknesses, we implement the non-linear manifold method introduced by Carlberg et al [37] with hyper-reduction achieved through reduced over-collocation and teacher-student training of a reduced decoder. We test the methodology on a 2d non-linear conservation law and a 2d shallow water models, and compare the results obtained with a purely data-driven method for which the dynamics is evolved in time with a long-short term memory network.

研究动机与目标

• 解决参数化PDE中Kolmogorov n-宽度衰减缓慢的问题，该问题限制了线性降阶模型的效率。
• 克服纯数据驱动ROM（基于LSTM或标准自编码器）在物理一致性不足和泛化能力差方面的缺陷。
• 开发一种集成物理约束的非线性流形ROM，通过基于残差的超还原和潜在动态演化实现。
• 通过在还原残差计算中嵌入物理信息，提升模型在训练参数范围外的可解释性和鲁棒性。
• 通过使用经教师-学生蒸馏训练的压缩、物理感知解码器，实现在复杂非线性PDE上高效在线预测。

提出的方法

• 利用卷积自编码器（CAEs）从全阶模型（FOM）解的快照中学习低维非线性潜在流形。
• 应用非线性流形最小二乘伽辽金（NM-LSPG）方法，将残差投影到所学流形的切空间上。
• 采用降维过配点法（ROC）通过在网格上选择最少数量的配点实现残差计算的超还原。
• 通过教师-学生训练压缩解码器：一个大型预训练CAE（教师）指导一个更小、更高效的解码器（学生）以模仿重建精度。
• 实现潜在动力学模型（未明确详述，但隐含通过还原残差的时间积分学习）以预测潜在空间中的演化。
• 集成完整的ROM流程：流形学习（离线）→ 超还原与解码器压缩 → 在线预测中实现潜在状态的时间演化。

实验结果

研究问题

• RQ1 基于CAEs与ROC的非线性流形ROM是否能在具有复杂动力学的参数化PDE上，实现比纯数据驱动的LSTM模型更高的精度与效率？
• RQ2 通过基于残差的超还原（ROC）引入物理信息后，与纯数据驱动方法相比，是否能显著提升模型在训练参数范围外的泛化能力与鲁棒性？
• RQ3 解码器的教师-学生蒸馏在多大程度上能提升计算效率，同时不损失ROM中的重建精度？
• RQ4 在传统线性ROM因Kolmogorov n-宽度衰减缓慢而失效的对流主导与非线性区域，该方法是否仍能保持精度与稳定性？
• RQ5 该方法是否能有效应用于真实PDE问题，如具有复杂非仿射参数依赖性的浅水方程与非线性守恒律？

主要发现

• 所提出的ROM在二维非线性守恒律和浅水方程上均实现了高精度预测，即使在非仿射参数依赖和对流主导的区域也表现良好。
• 与纯数据驱动的LSTM-based ROM相比，该方法在训练参数范围外表现出更优的泛化能力与鲁棒性。
• 采用ROC实现的超还原可显著减少配点数量，实现高效的残差计算，降低在线计算成本。
• 解码器的教师-学生蒸馏显著减小了解码器尺寸，提升运行速度，同时保持高重建保真度。
• 尽管在测试案例中未实现相对于FOM的显著加速，但ROM实现了低维潜在空间（如4D潜在维数）与高精度，表明其在大规模问题上具有强大潜力。
• 该框架具有模块化与架构无关性，可灵活使用任意神经网络（如CAEs）进行流形学习，同时提升训练效率与物理一致性。